XenServer安装配置Hadoop 0.20.203实例(2)

</configuration>
11.以上为这三个文件最简单的配置,其中hadoop.tmp.dir指定的目录要在运行Hadoop之前创建好,如果需要更进一步的配置,可以参看src中的相应文件

12.配置conf/masters和conf/slaves,增加主机名,一个一行

在conf/masters中添加Master的主机名:hadoop1.ahau.edu.cn

在conf/slaves中添加Slave的主机名:

hadoop2.ahau.edu.cn

hadoop3.ahau.edu.cn

13.将hadoop目录拷贝到其他机器上,如果Java的安装路径不一样,需要修改hadoop-env.sh文件

$scp –r hadoop grid@hadoop2:/home/grid

四、运行Hadoop

14.格式化分布式文件系统

$bin/hadoop namenode -format

15.启动Hadoop,最好在启动前检查三台主机的SELinux和Iptables是否关上,以免不必要的麻烦

在hadoop1的hadoop目录中执行:

$bin/start-all.sh

##启动所有进程,脚本输出会指出日志文件存放位置,从输出可以看到先启动NameNode进程,然后是DataNode,JobTracker,TaskTracker,Master会自动启动Slave上的相关进程,可以通过下面的命令检查进程的运行情况

[grid@hadoop1 hadoop]$ /usr/local/jdk1.6.0_25/bin/jps
11905 NameNode
14863 DataNode
12036 SecondaryNameNode
12113 JobTracker
12421 Jps

也可以分部启动:

$bin/hadoop-daemon.sh start namenode ##启动NameNode

$bin/hadoop-daemon.sh start datanode

查看文件系统的情况:

[grid@hadoop1 hadoop]$ bin/hadoop dfsadmin -report
Configured Capacity: 152406405120 (141.94 GB)
Present Capacity: 133594103808 (124.42 GB)
DFS Remaining: 133334999040 (124.18 GB)
DFS Used: 259104768 (247.1 MB)
DFS Used%: 0.19%
Under replicated blocks: 1
Blocks with corrupt replicas: 0
Missing blocks: 0

-------------------------------------------------
Datanodes available: 3 (3 total, 0 dead)

Name: 210.45.176.45:50010
Decommission Status : Normal
Configured Capacity: 50802135040 (47.31 GB)
DFS Used: 86433792 (82.43 MB)
Non DFS Used: 6207848448 (5.78 GB)
DFS Remaining: 44507852800(41.45 GB)
DFS Used%: 0.17%
DFS Remaining%: 87.61%
Last contact: Sun May 15 21:32:42 CST 2011


Name: 210.45.176.50:50010
Decommission Status : Normal
Configured Capacity: 50802135040 (47.31 GB)
DFS Used: 86335488 (82.34 MB)
Non DFS Used: 6420262912 (5.98 GB)
DFS Remaining: 44295536640(41.25 GB)
DFS Used%: 0.17%
DFS Remaining%: 87.19%
Last contact: Sun May 15 21:32:42 CST 2011


Name: 210.45.176.46:50010
Decommission Status : Normal
Configured Capacity: 50802135040 (47.31 GB)
DFS Used: 86335488 (82.34 MB)
Non DFS Used: 6184189952 (5.76 GB)
DFS Remaining: 44531609600(41.47 GB)
DFS Used%: 0.17%
DFS Remaining%: 87.66%
Last contact: Sun May 15 21:32:42 CST 2011

可以通过:50070查看HDFS的情况,通过:50030 查看MapReduce的情况

以下是一些常用的命令:

hadoop fs –ls 查看/usr/root目录下的内容,默认如果不填路径这就是当前用户路径;
hadoop fs –rmr xxx xxx就是删��目录;
hadoop dfsadmin -report 这个命令可以全局的查看DataNode的情况;
hadoop job -list 后面增加参数是对于当前运行的Job的操作,例如list,kill等;
hadoop balancer 均衡磁盘负载的命令。

16.测试Hadoop

将输入文件拷贝到分布式文件系统:
$ bin/hadoop fs -mkdir input
$ bin/hadoop fs -put conf/core-site.xml input

运行发行版提供的示例程序:
$ bin/hadoop jar hadoop-examples-0.20.203.0.jar grep input output 'fs[a-z.]+'

将输出文件从分布式文件系统拷贝到本地文件系统查看:
$ bin/hadoop fs -get output output
$ cat output/*

或者

在分布式文件系统上查看输出文件:
$ bin/hadoop fs -cat output/*

17.停止Hadoop

$bin/stop-all.sh

18.增加Slave节点hadoop4

只需要再新的机器上安装java、配置ssh无密码登录,修改hadoop1上的slaves文件,增加hadoop4,然后把hadoop拷贝到hadoop4上,重新运行bin/start-all.sh就可以了,非常方便,上面的bin/hadoop dfsadmin -report就是在增加了hadoop4以后的

至此基于XenServer的Hadoop分布式计算平台就搭建完成了

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:http://www.heiqu.com/pszdz.html