【大数据】分布式集群部署

1、集群规划部署

节点名称   NN1   NN2   DN    RM   NM  
hadoop01   NameNode       DataNode       NodeManager  
hadoop02       SecondaryNameNode   DataNode   ResourceManager   NodeManager  
hadoop03           DataNode       NodeManager  

2、参考单机部署，拷贝安装目录至相同目录，使用ln -s 建立软连接

3、修改配置文件参数及sh启动文件--根据集群规划部署配置

slaves：记录了机器名

*.sh：修改JAVA_HOME

yarn-site.xml 

<configuration> <!-- Site specific YARN configuration properties --> <!-- NodeManager获取数据的方式是shuffle--> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <!-- 指定YARN的老大（resourcemanager）的地址 --> <property> <name>yarn.resourcemanager.hostname</name> <value>hadoop02</value> </property> </configuration>