在Hadoop2.3下运行WordCount程序

1、如果hdfs没有启动,则在haoop主目录下启动:
 ./sbin/start-dfs.sh 
 ./sbin/start-yarn.sh 

2、查看状态,保证有数据节点在运行
./bin/hdfs dfsadmin -report

看到如下状态表示一切正常
Datanodes available: 1 (1 total, 0 dead)

这一步也可以用浏览器查看::50070

3、新建几个数据文件,如file1.txt,file2.txt,我是放到Hadoop主目录下的examples目录里
examples/file1.txt 内容如下:
hello 
hello 
hello 
hello 

examples/file2.txt 内容如下:
pmpbox  ok
pmpbox  v1.0
pmpbox  online
I think pmpbox will help you!


4、把文件拷贝到hadoop文件系统
./bin/hadoop fs -mkdir /input
./bin/hadoop fs -put -f examples/file1.txt examples/file2.txt /input

5、运行 WordCount
./bin/hadoop jar ./share/hadoop/mapreduce/sources/hadoop-mapreduce-examples-2.3.0-sources.jar org.apache.hadoop.examples.WordCount /input /output
运行中会显示进度。

6.
查看结果命令
./bin/hadoop fs -cat /output/part-r-00000

也可把结果从hdfs拷到文件系统中保存
./bin/hadoop fs -cat /output/part-r-00000


下面就是WordCount程序执行结果:
I 1
hello 4
help 1
ok 1
online 1
pmpbox 4
think 1
v1.0 1
will 1
1
1
1
1
you! 1
下面的代码出自 JDK 文档)

相关阅读

Ubuntu 13.04上搭建Hadoop环境

Ubuntu 12.10 +Hadoop 1.2.1版本集群配置

Ubuntu上搭建Hadoop环境(单机模式+伪分布模式)

Ubuntu下Hadoop环境的配置

单机版搭建Hadoop环境图文教程详解

搭建Hadoop环境(在Winodws环境下用虚拟机虚拟两个Ubuntu系统进行搭建)

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:https://www.heiqu.com/4b6ec66e6c1baf23d9779b9e8c6d171f.html