1、启动HDFS集群
在master上,启动HDFS集群。
格式化HDFS,执行命令:
hdfs namenode -format
如果没有错误,继续执行,启动HDFS,执行命令:
start-dfs.sh
此时:在master上,执行jps你可以看到,启动了NameNode和SecondaryNameNode;
在slaves上,执行jps你可以看到,启动了DameNode。
你可以在各个结点上查看对应的日志,看HDFS集群启动的状况,确定启动是否正常:
tail -500f $HADOOP_HOME/logs/hadoop-hadoop-namenode-master.log tail -500f $HADOOP_HOME/logs/hadoop-hadoop-secondarynamenode-master.log tail -500f $HADOOP_HOME/logs/hadoop-hadoop-datanode-slave-01.log tail -500f $HADOOP_HOME/logs/hadoop-hadoop-datanode-slave-02.log
还可以通过Hadoop内置的Web Server(Jetty),通过浏览器访问监控:
master结点: :50070 或者 :50070 slave-01结点::50075 或者 :50075 slave-02结点::50075 或者 :50075
2、启动MapReduce任务集群
在master上,启动MapReduce集群,执行命令:
start-mapred.sh
此时:在master上可以看到,JobTracker已经启动;
在slaves上可以看到,TaskTracker已经启动。
也可以查看日志文件,验证启动是否正常:
tail -500f $HADOOP_HOME/logs/hadoop-hadoop-jobtracker-master.log tail -500f $HADOOP_HOME/logs/hadoop-hadoop-tasktracker-slave-01.log tail -500f $HADOOP_HOME/logs/hadoop-hadoop-tasktracker-slave-02.log
还可以通过Hadoop内置的Web Server(Jetty),通过浏览器访问监控:master结点: :50030 或者 :50030 slave-01结点::50060 或者 :50060 slave-02结点::50060 或者 :50060
3、上传文件到HDFS例如,上传一个文件到HDFS上,使用copyFromLocal命令:
hadoop@master:~/installation/hadoop-0.22.0$ hadoop fs -lsr drwxr-xr-x - hadoop supergroup 0 2011-12-31 11:40 /user/hadoop/storage hadoop@master:~/installation/hadoop-0.22.0$ hadoop fs -mkdir storage/input hadoop@master:~/installation/hadoop-0.22.0$ hadoop fs -copyFromLocal ~/storage/files/extfile.txt ./storage/input/attractions.txt hadoop@master:~/installation/hadoop-0.22.0$ hadoop fs -lsr drwxr-xr-x - hadoop supergroup 0 2011-12-31 11:41 /user/hadoop/storage drwxr-xr-x - hadoop supergroup 0 2011-12-31 11:41 /user/hadoop/storage/input -rw-r--r-- 3 hadoop supergroup 66609 2011-12-31 11:41 /user/hadoop/storage/input/attractions.txt
将文件extfile.txt上传到HDFS,改名为attractions.txt。 4、运行MapReduce任务执行如下命令,运行Hadoop自带的例子:
hadoop jar $HADOOP_HOME/hadoop-mapred-examples-0.22.0.jar wordcount ./storage/input/ $HADOOP_HOME/output
5、总结说明在Hadoop集群外部为什么无法通过域名(如::50030)访问Hadoop集群结点?
你在Hadoop集群的外部,例如,在局域网的Windows 7系统中访问master,必须能够将域名master映射到对应的IP地址,否则无法建立到目标主机的链路。在Windows 7下,可以通过设置C:\Windows\System32\drivers\etc目录下面的hosts映射文件,增加如下映射内容:
192.168.0.190 master 192.168.0.186 slave-01 192.168.0.183 slave-02
保存以后,这时,你再通过域名访问Hadoop集群结点,就可以看到该结点的一些基本信息。