Hadoop-3.1.2完全分布式环境搭建过程图文详解（W(4)

日期：2020-05-12 栏目：破解天下 浏览：次

　　core-site.xml:

<configuration>
 <property>
 <name>fs.defaultFS</name>
 <value>hdfs://Master:9000</value>
 </property>
 <property>
 <name>hadoop.tmp.dir</name>
 <value>/bigdata/hadoop-3.1.2/tmp</value>
 </property>
</configuration>

　　workers:把默认的localhost删掉

Slave1 192.168.28.133

Slave2 192.168.28.134

　　yarn-env.sh 添加：

YARN_RESOURCEMANAGER_USER=root

HADOOP_SECURE_DN_USER=yarn

YARN_NODEMANAGER_USER=root

　　进入/bigdata/hadoop-3.1.2/sbin，修改start-dfs.sh,stop-dfs.sh,都添加：

　　

HDFS_DATANODE_USER=root

HDFS_DATANODE_SECURE_USER=hdfs

HDFS_NAMENODE_USER=root

HDFS_SECONDARYNAMENODE_USER=root

六、克隆虚拟机

　　克隆两个从节点虚拟机，主机名称分别为Slave1，Slave2（需要进入虚拟机中修改），然后分别修改IP地址（具体方法上面有）重启网络，重启虚拟机。

　　重启完成后进行namenode格式化：分别对Master、Slave1，Slave2执行：

hadoop namenode -format

　　对Master执行

start-all.sh //启动hdfs和yarn

　　待完成后用jps查看进程：

[root@Master ~]# jps
7840 ResourceManager
8164 Jps
7323 NameNode
7564 SecondaryNameNode

　　两Slave的进程：

包含以下两个：
DataNode
NodeManager

七、检查

　　浏览器输入：在浏览器中输入Master:9870回车，进入hdfs管理页面，点击上方datanode应该可以看到下面有两个节点；

　　输入Master:8088回车，进入资源调度管理（yarn）

总结

以上所述是小编给大家介绍的Hadoop-3.1.2完全分布式环境搭建过程图文详解（Windows 10） ,希望对大家有所帮助，如果大家有任何疑问请给我留言，小编会及时回复大家的。在此也非常感谢大家对黑区网络网站的支持！
如果你觉得本文对你有帮助，欢迎转载，烦请注明出处，谢谢！