0.22.0分布式集群配置(3)

1、启动HDFS集群

在master上,启动HDFS集群。

格式化HDFS,执行命令:

hdfs namenode -format  

如果没有错误,继续执行,启动HDFS,执行命令:

start-dfs.sh  

此时:
在master上,执行jps你可以看到,启动了NameNode和SecondaryNameNode;
在slaves上,执行jps你可以看到,启动了DameNode。

你可以在各个结点上查看对应的日志,看HDFS集群启动的状况,确定启动是否正常:

tail -500f $HADOOP_HOME/logs/hadoop-hadoop-namenode-master.log   tail -500f $HADOOP_HOME/logs/hadoop-hadoop-secondarynamenode-master.log   tail -500f $HADOOP_HOME/logs/hadoop-hadoop-datanode-slave-01.log   tail -500f $HADOOP_HOME/logs/hadoop-hadoop-datanode-slave-02.log  

还可以通过Hadoop内置的Web Server(Jetty),通过浏览器访问监控:

master结点:  :50070 或者 :50070   slave-01结点::50075 或者 :50075   slave-02结点::50075 或者 :50075  

2、启动MapReduce任务集群

在master上,启动MapReduce集群,执行命令:

start-mapred.sh  

此时:

在master上可以看到,JobTracker已经启动;

在slaves上可以看到,TaskTracker已经启动。

也可以查看日志文件,验证启动是否正常:

tail -500f $HADOOP_HOME/logs/hadoop-hadoop-jobtracker-master.log    tail -500f $HADOOP_HOME/logs/hadoop-hadoop-tasktracker-slave-01.log   tail -500f $HADOOP_HOME/logs/hadoop-hadoop-tasktracker-slave-02.log  

还可以通过Hadoop内置的Web Server(Jetty),通过浏览器访问监控:

master结点:  :50030 或者 :50030   slave-01结点::50060 或者 :50060   slave-02结点::50060 或者 :50060  

3、上传文件到HDFS

例如,上传一个文件到HDFS上,使用copyFromLocal命令:

hadoop@master:~/installation/hadoop-0.22.0$ hadoop fs -lsr   drwxr-xr-x   - hadoop supergroup          0 2011-12-31 11:40 /user/hadoop/storage   hadoop@master:~/installation/hadoop-0.22.0$ hadoop fs -mkdir storage/input   hadoop@master:~/installation/hadoop-0.22.0$ hadoop fs -copyFromLocal ~/storage/files/extfile.txt  ./storage/input/attractions.txt   hadoop@master:~/installation/hadoop-0.22.0$ hadoop fs -lsr   drwxr-xr-x   - hadoop supergroup          0 2011-12-31 11:41 /user/hadoop/storage   drwxr-xr-x   - hadoop supergroup          0 2011-12-31 11:41 /user/hadoop/storage/input   -rw-r--r--   3 hadoop supergroup      66609 2011-12-31 11:41 /user/hadoop/storage/input/attractions.txt  

将文件extfile.txt上传到HDFS,改名为attractions.txt。 4、运行MapReduce任务

执行如下命令,运行Hadoop自带的例子:

hadoop jar $HADOOP_HOME/hadoop-mapred-examples-0.22.0.jar wordcount ./storage/input/ $HADOOP_HOME/output  

5、总结说明

在Hadoop集群外部为什么无法通过域名(如::50030)访问Hadoop集群结点?

你在Hadoop集群的外部,例如,在局域网的Windows 7系统中访问master,必须能够将域名master映射到对应的IP地址,否则无法建立到目标主机的链路。在Windows 7下,可以通过设置C:\Windows\System32\drivers\etc目录下面的hosts映射文件,增加如下映射内容:

192.168.0.190   master   192.168.0.186   slave-01   192.168.0.183   slave-02  

保存以后,这时,你再通过域名访问Hadoop集群结点,就可以看到该结点的一些基本信息。

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:http://www.heiqu.com/0d8876300c1f3cf3230d78bff3fea665.html