Hadoop伪分布式配置及遇到的问题

一、运行wordcount例子

Hadoop上新建目录,然后用put程序将linux中的文件input1.txt和input2.txt输入到hadoop文件系统中的/tmp/input/中 

hadoop fs -mkdir /tmp/input

hadoop fs -mkdir /tmp/output

hadoop fs -put input1.txt /tmp/input/

hadoop fs -put input2.txt /tmp/input/

执行wordcount例子,注意:/tmp/output1的“/”要加上。而且/tmp/output1这个输出目录不能提前创建。

执行程序:

bin/hadoop jar ~/software/hadoop-0.20.2/hadoop-0.20.2-examples.jar wordcount /tmp/input /tmp/output1

查看结果:

(1)浏览器查看hdfs

(2)命令行:bin/hadoop fs -cat /tmp/output1/part-r-00000 

二、进入不了hdfs

hadoop运行状态直接关机,导致hadoop数据目录(/tmp/hadoop-USERNAME)被删除,重起开启计算机,,使用start-all.sh启动hadoop,使用jps命令(启动hadoop服务后直接在终端中输入jps即可)会发现namenode没起来。

解决方案:应该删除 /tmp/hadoop-root/dfs/name这个目录,然后再重新格式化,成功。然后执行bin/stop-all.sh ,bin/hadoop namenode –format命令重新格式化。

注意要关机前使用命令stop-all.sh关闭hadoop。

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:http://www.heiqu.com/pswdf.html