Hadoop2.2.0版本多节点集群安装及测试(3)

六:查看Hadoop资源管理器

:8088/,将其中的192.168.128.130替换为你的Hadoop1的IP地址。

七:测试Hadoop

cd /home/hduser

$wget

$cd hadoop

$ bin/hdfs dfs -mkdir /tmp

$ bin/hdfs dfs -copyFromLocal /home/hduser/pg20417.txt /tmp

bin/hdfs dfs -ls /tmp

$bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-2.2.0.jarwordcount /tmp/ /tmp-output

如果一切正常的话,会输入相应的结果,可以从屏幕输出看到。

八:停止Hadoop

若停止hadoop,依次运行如下命令:

$./stop-yarn.sh

$./stop-dfs.sh

九:集群安装与单机安装的区别分析

core-site.xml中配置的fs.default.name值的IP地址必须为Master节点,本文为Hadoop1节点;
hdfs-site.xml中配置的dfs.replication值需要与实际的DataNode节点数一致,本文为2;
mapred-site.xml中配置的mapred.job.tracker值的IP地址必须为Master节点,本文为Hadoop1节点;
slaves文件必须配置上实际的slaves节点,本文为hadoop2和hadoop3;
每个主机的/etc/hostname和/etc/hostname必须做相应的配置以方便集群内部相互识别;
必须在集群内部用ssh建立起信任。

以上安装过程中还是出现了一些问题,但基本都通过baidu和google解决了。有个错误花费了较多时间,这里记录下,以供参考。

错误现象:13/10/2807:19:03 WARN hdfs.DFSClient: DataStreamer Exception org.apache.hadoop.ipc.RemoteException(java.io.IOException):File /tmp/pg20417.txt._COPYING_ could only be replicated to 0 nodes instead ofminReplication (=1). There are 0datanode(s) running and no node(s) are excluded in this operation.

发生地方:执行bin/hdfs dfs -copyFromLocal /home/hduser/pg20417.txt /tmp时

原因定位:后来经过反复查看,是因为fs.default.name的值中的IP地址配置成 localhost了,导致系统找不到hdfs.是在datanode的日志中发现这个错误的,日志如下:

2013-10-28 07:33:55,963 WARNorg.apache.hadoop.hdfs.server.datanode.DataNode: Problem connecting to server:localhost/127.0.0.1:8010

解决办法:将fs.default.name中的IP地址改为192.168.128.130,即你的master节点的IP地址。

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:http://www.heiqu.com/dcf870fdc0d0e7851ab5fb0134d5c412.html