Hadoop HDFS的一些操作

背景：

Hadoop HDFS的一些操作

HDFS的文件操作

格式化HDFS

命令：user@namenode:Hadoop$ bin/hadoop namenode -format

启动HDFS

命令：user@namenode:hadoop$ bin/start-dfs.sh

列出HDFS上的文件

命令：user@namenode:hadoop$ bin/hadoop dfs -ls

使用hadoop API

public List<String[]> GetFileBolckHost(Configuration conf, String FileName) { 
        try { 
            List<String[]> list = new ArrayList<String[]>(); 
            FileSystem hdfs = FileSystem.get(conf); 
            Path path = new Path(FileName); 
            FileStatus fileStatus = hdfs.getFileStatus(path); 
 
            BlockLocation[] blkLocations = hdfs.getFileBlockLocations( 
                    fileStatus, 0, fileStatus.getLen()); 
 
            int blkCount = blkLocations.length; 
            for (int i = 0; i < blkCount; i++) { 
                String[] hosts = blkLocations[i].getHosts(); 
                list.add(hosts); 
            } 
            return list; 
        } catch (IOException e) { 
            e.printStackTrace(); 
        } 
        return null; 
    }

在HDFS上创建目录

命令：user@namenode:hadoop$ bin/hadoop dfs -mkdir /文件名

使用hadoop API

// 在HDFS新建文件 
    public FSDataOutputStream CreateFile(Configuration conf, String FileName) { 
        try { 
            FileSystem hdfs = FileSystem.get(conf); 
            Path path = new Path(FileName); 
            FSDataOutputStream outputStream = hdfs.create(path); 
            return outputStream; 
        } catch (IOException e) { 
            e.printStackTrace(); 
        } 
        return null; 
    }

用Sqoop进行MySQL和HDFS系统间的数据互导

Ubuntu Server 13.04 与 OpenStack 的进步

相关资讯       HDFS  Hadoop HDFS 

本文评论 　　查看全部评论 (0)

评论声明

尊重网上道德，遵守中华人民共和国的各项有关法律法规

承担一切因您的行为而直接或间接导致的民事或刑事法律责任

本站管理人员有权保留或删除其管辖留言中的任意内容

本站有权在网站内转载或引用您的评论

参与本评论即表明您已经阅读并接受上述条款

最新资讯