六:查看Hadoop资源管理器
:8088/,将其中的192.168.128.130替换为你的Hadoop1的IP地址。
七:测试Hadoop
cd /home/hduser
$wget
$cd hadoop
$ bin/hdfs dfs -mkdir /tmp
$ bin/hdfs dfs -copyFromLocal /home/hduser/pg20417.txt /tmp
bin/hdfs dfs -ls /tmp
$bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-2.2.0.jarwordcount /tmp/ /tmp-output
如果一切正常的话,会输入相应的结果,可以从屏幕输出看到。
八:停止Hadoop
若停止hadoop,依次运行如下命令:
$./stop-yarn.sh
$./stop-dfs.sh
九:集群安装与单机安装的区别分析
core-site.xml中配置的fs.default.name值的IP地址必须为Master节点,本文为Hadoop1节点;
hdfs-site.xml中配置的dfs.replication值需要与实际的DataNode节点数一致,本文为2;
mapred-site.xml中配置的mapred.job.tracker值的IP地址必须为Master节点,本文为Hadoop1节点;
slaves文件必须配置上实际的slaves节点,本文为hadoop2和hadoop3;
每个主机的/etc/hostname和/etc/hostname必须做相应的配置以方便集群内部相互识别;
必须在集群内部用ssh建立起信任。
以上安装过程中还是出现了一些问题,但基本都通过baidu和google解决了。有个错误花费了较多时间,这里记录下,以供参考。
错误现象:13/10/2807:19:03 WARN hdfs.DFSClient: DataStreamer Exception org.apache.hadoop.ipc.RemoteException(java.io.IOException):File /tmp/pg20417.txt._COPYING_ could only be replicated to 0 nodes instead ofminReplication (=1). There are 0datanode(s) running and no node(s) are excluded in this operation.
发生地方:执行bin/hdfs dfs -copyFromLocal /home/hduser/pg20417.txt /tmp时
原因定位:后来经过反复查看,是因为fs.default.name的值中的IP地址配置成 localhost了,导致系统找不到hdfs.是在datanode的日志中发现这个错误的,日志如下:
2013-10-28 07:33:55,963 WARNorg.apache.hadoop.hdfs.server.datanode.DataNode: Problem connecting to server:localhost/127.0.0.1:8010
解决办法:将fs.default.name中的IP地址改为192.168.128.130,即你的master节点的IP地址。