Hadoop集群(第6期)(2)

  1)在集群上运行WordCount程序

  备注:以input作为输入目录,output目录作为输出目录。

  已经编译好的WordCount的Jar在"/usr/Hadoop"下面,就是"hadoop-examples-1.0.0.jar",所以在下面执行命令时记得把路径写全了,不然会提示找不到该Jar包。

image

  2)MapReduce执行过程显示信息

image

  Hadoop命令会启动一个JVM来运行这个MapReduce程序,并自动获得Hadoop的配置,同时把类的路径(及其依赖关系)加入到Hadoop的库中。以上就是Hadoop Job的运行记录,从这里可以看到,这个Job被赋予了一个ID号:job_201202292213_0002,而且得知输入文件有两个(Total input paths to process : 2),同时还可以了解map的输入输出记录(record数及字节数),以及reduce输入输出记录。比如说,在本例中,map的task数量是2个,reduce的task数量是一个。map的输入record数是2个,输出record数是4个等信息。

2.3 查看结果

  1)查看HDFS上output目录内容

image

  从上图中知道生成了三个文件,我们的结果在"part-r-00000"中。

  2)查看结果输出文件内容

image

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:http://www.heiqu.com/3686461f088023a4c1ac51b06429ff3e.html