Hadoop 2.7.2集群搭建详解(3)

将SparkMaster节点的`hadoop-2.7.2/etc/下面的文件通过以下方式放去其他节点 rsync -av /usr/local/hadoop-2.7.2/etc/ SparkWorker1:/usr/local/hadoop-2.7.2/etc/ rsync -av /usr/local/hadoop-2.7.2/etc/ SparkWorker1:/usr/local/hadoop-2.7.2/etc/

完成之后可以查看SparkWorker1、SparkWorker2下面的文件是否变了

启动hadoop分布式集群 在SparkMaster节点格式化集群的文件系统

输入

hadoop namenode -format

启动Hadoop集群 start-all.sh

查看各个节点的进程信息

使用

jps

查看各节点的进程信息
可以看到

此时分布式的hadoop集群已经搭好了

在浏览器输入

SparkMaster_IP:50070 SparkMaster_IP:8088

看到以下界面代表Hadoop集群已经开启了

结言

到此Hadoop的分布式集群就搭好了。这个Spark运行的基础。