Hadoop 单节点 伪分布 安装札记(3)

要使用 HDFS,首先需要在 HDFS 中创建用户目录:
# ./bin/hdfs dfs -mkdir -p /user/hadoop
# ./bin/hadoop fs -ls /user/hadoop
Found 1 items
drwxr-xr-x  - hadoop supergroup          0 2015-12-23 15:03 /user/hadoop/input

接着将 ./etc/hadoop 中的 xml 文件作为输入文件复制到分布式���件系统中,即将 /usr/local/hadoop/etc/hadoop 复制到分布式文件系统中的 /user/hadoop/input 中。我们使用的是 hadoop 用户,并且已创建相应的用户目录 /user/hadoop ,因此在命令中就可以使用相对路径如 input,其对应的绝对路径就是 /user/hadoop/input:
# ./bin/hdfs dfs -mkdir input
# ./bin/hdfs dfs -put ./etc/hadoop/*.xml input

复制完成后,可以通过如下命令查看 HDFS 中的文件列表:

# ./bin/hdfs dfs -ls input   
-rw-r--r--  1 hadoop supergroup      4436 2015-12-23 16:46 input/capacity-scheduler.xml
-rw-r--r--  1 hadoop supergroup      1180 2015-12-23 16:46 input/core-site.xml
-rw-r--r--  1 hadoop supergroup      9683 2015-12-23 16:46 input/hadoop-policy.xml
-rw-r--r--  1 hadoop supergroup      1136 2015-12-23 16:46 input/hdfs-site.xml
-rw-r--r--  1 hadoop supergroup        620 2015-12-23 16:46 input/httpfs-site.xml
-rw-r--r--  1 hadoop supergroup      3523 2015-12-23 16:46 input/kms-acls.xml
-rw-r--r--  1 hadoop supergroup      5511 2015-12-23 16:46 input/kms-site.xml
-rw-r--r--  1 hadoop supergroup        858 2015-12-23 16:46 input/mapred-site.xml
-rw-r--r--  1 hadoop supergroup        690 2015-12-23 16:46 input/yarn-site.xml

伪分布式运行 MapReduce 作业的方式跟单机模式相同,区别在于伪分布式读取的是HDFS中的文件(可以将单机步骤中创建的本地 input 文件夹,输出结果 output 文件夹都删掉来验证这一点)。
# ./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0.jar grep input output 'dfs[a-z.]+'

查看运行结果的命令(查看的是位于 HDFS 中的输出结果):
$ ./bin/hdfs dfs -cat output/*
1  dfsadmin
1  dfs.replication
1  dfs.namenode.name.dir
1  dfs.datanode.data.dir

结果如下,注意到刚才我们已经更改了配置文件,所以运行结果不同。
Hadoop伪分布式运行grep的结果Hadoop伪分布式运行grep的结果
我们也可以将运行结果取回到本地:
# rm -r ./output    # 先删除本地的 output 文件夹(如果存在)
# ./bin/hdfs dfs -get output ./output    # 将 HDFS 上的 output 文件夹拷贝到本机
# cat ./output/*
1  dfsadmin
1  dfs.replication
1  dfs.namenode.name.dir
1  dfs.datanode.data.dir

Hadoop 运行程序时,输出目录不能存在,否则会提示错误 “org.apache.hadoop.mapred.FileAlreadyExistsException: Output directory hdfs://localhost:9000/user/hadoop/output already exists” ,因此若要再次执行,需要执行如下命令删除 output 文件夹:
# 删除 output 文件夹
$./bin/hdfs dfs -rm -r output
Deleted output


运行程序时,输出目录不能存在
运行 Hadoop 程序时,为了防止覆盖结果,程序指定的输出目录(如 output)不能存在,否则会提示错误,因此运行前需要先删除输出目录。在实际开发应用程序时,可考虑在程序中加上如下代码,能在每次运行时自动删除输出目录,避免繁琐的命令行操作:
Configuration conf = new Configuration();
Job job = new Job(conf);
/* 删除输出目录 */
Path outputPath = new Path(args[1]);
outputPath.getFileSystem(conf).delete(outputPath, true);

若要关闭 Hadoop,则运行
./sbin/stop-dfs.sh

启动YARN
(伪分布式不启动 YARN 也可以,一般不会影响程序执行)
有的读者可能会疑惑,怎么启动 Hadoop 后,见不到书上所说的 JobTracker 和 TaskTracker,这是因为新版的 Hadoop 使用了新的 MapReduce 框架(MapReduce V2,也称为 YARN,Yet Another Resource Negotiator)。

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:https://www.heiqu.com/39c8e2e98c866d4346d70f7164d84143.html