CentOS 6.7下搭建Hadoop 2.7.3集群(2)

<configuration> <property> <name>yarn.resourcemanager.hostname</name> <value>master</value> </property> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.nodemanager.resource.memory-mb</name> <value>20480</value> </property> <property> <name>yarn.scheduler.maximum-allocation-mb</name> <value>10240</value> </property> <property> <name>yarn.nodemanager.resource.cpu-vcores</name> <value>5</value> </property> <property> <name>yarn.nodemanager.vmem-check-enabled</name> <value>false</value> </property> </configuration>

（4）mapred-site.xml

<configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration>

（5）slaves

启动Hadoop集群需要读取该文件，以确定从节点主机名，从而启动DataNode、NodeManager等守护进程，因此需要在该文件中添加从节点主机名。

slave1 slave2

（6）hadoop-env.sh

修改如下内容：

export JAVA_HOME=/usr/java/jdk1.8.0_112

（7）yarn-env.sh

添加如下内容：

export JAVA_HOME=/usr/java/jdk1.8.0_112

到此，完成了主节点上所有的配置，只需将这些配置信息复制到各个从节点：

# scp /home/hadoop-2.7.3/etc/hadoop/* slave1:/home/hadoop-2.7.3/etc/hadoop/ # scp /home/hadoop-2.7.3/etc/hadoop/* slave2:/home/hadoop-2.7.3/etc/hadoop/

2.3 启动Hadoop

（1）第一次启动HDFS时需要初始化，在主节点上执行：

# cd /home/hadoop-2.7.3 # ./bin/hadoop namenode -format

（2）启动HDFS：

# ./sbin/start-dfs.sh

成功启动后，访问:50070/即可看到HDFS Web界面。

（3） 启动YARN：

# ./sbin/start-yarn.sh

成功启动后，访问:8088/即可看到YARN Web界面。

  这里也可以直接执行下面的命令一键启动，但第一次启动不建议这样做：

# start-all.sh

到此，Hadoop集群环境已经搭建好了，可以根据自己的业务需求，在上面愉快的“玩耍”了。

Hadoop项目之基于CentOS7的Cloudera 5.10.1（CDH）的安装部署 

Hadoop2.7.2集群搭建详解（高可用） 

使用Ambari来部署Hadoop集群（搭建内网HDP源） 

Ubuntu 14.04下Hadoop集群安装 

CentOS 6.7安装Hadoop 2.7.2 

Ubuntu 16.04上构建分布式Hadoop-2.7.3集群 

CentOS 7.3下Hadoop2.8分布式集群安装与测试 

CentOS 7 下 Hadoop 2.6.4 分布式集群环境搭建 

Hadoop2.7.3+Spark2.1.0完全分布式集群搭建过程