在Linux 上安装Hadoop 教程(3)

8.运行Hadoop自带的例程 wordcount。

第一步:root@:~/hadoop-0.20.1/bin/$ hadoop namenode –format

//格式化文件系统,新建一个文件系统。

第二步:root@:~/hadoop-0.20.1/$ start-all.sh

//启动hadoop的所有守护进程。

第三步:root@:~/hadoop-0.20.1/$ jps  

//查看进程,master虚拟机上的结果。

在slave1 和 slave2 虚拟机上 jsj@slave1:~/hadoop-0.20.1/$ jps

第四步:(1)先在本地磁盘建立两个输入文件file01 和file02:

第五步:root@:~/soft/$ echo “Hello World Bye World” > file01

root@:~/soft/$ echo “Hello Hadoop Goodbye Hadoop” > file02

//在本地磁盘建立两个输入文件file01 和file02。将Hello World Bye World语句和Hello Hadoop Goodbye Hadoop语句分别加到file01文件和file02 文件里面。

第六步:root@:~/hadoop-0.20.1/$ hadoop fs –mkdir input

//在hdfs 中建立一个input 目录

第七步:root@:~/hadoop-0.20.1/$ hadoop fs –copyFromLocal /home/jsj/soft/file0* input

//将file01 和file02 拷贝到hdfs 中。

第八步:root@:~/hadoop-0.20.1/$ hadoop jar hadoop-0.20.1-examples.jar wordcount input output

//执行wordcount。

第九步:root@:~/hadoop-0.20.1/$ hadoop fs -cat output/part-r-00000

//完成之后,查看结果:

Bye 1

Goodbye 1

Hadoop 2

Hello 2

World 2

至此hadoop运行环境已经全部搭建完成。如果要按照此方法搭建请注意每次运行命令的用户和路径。这次搭建过程中还存留的一个问题就是/etc/profile 和 /etc/environment 文件的区别。

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:https://www.heiqu.com/24243.html