yum安装CDH5.5 Hadoop集群(7)

# sudo -u hdfs hadoop fs -mkdir -p /user
# sudo -u hdfs hadoop fs -chmod 777 /user
# sudo -u hdfs hadoop fs -mkdir -p /user/history
# sudo -u hdfs hadoop fs -chmod -R 1777 /user/history
# sudo -u hdfs hadoop fs -chown mapred:hadoop /user/history

5.3创建本地文件目录
创建 yarn.nodemanager.local-dirs 和 yarn.nodemanager.log-dirs 参数对应的目录:

# mkdir -p mkdir /opt/hadoop/data{1..3}/yarn/{dn,logs}
# chown -R yarn:yarn /opt/hadoop/data{1..3}/yarn

5.4同步配置文件
同步配置文件到整个集群。

5.5启动服务
在每个节点启动 YARN :

for x in `ls /etc/init.d/|grep hadoop-yarn` ; do service $x start ; done

在 76节点启动 mapred-historyserver :

/etc/init.d/hadoop-mapreduce-historyserver start

在 hdfs 运行之后,创建 /tmp 临时目录,并设置权限为 1777:

sudo -u hdfs hadoop fs -mkdir /tmp
sudo -u hdfs hadoop fs -chmod -R 1777 /tmp

5.6测试
通过:23188/cluster/cluster, bd-ops-test-75:23188/cluster/cluster , 可以查看谁是actice谁是standby,通过 :19888/ 可以访问 JobHistory 的管理页面。

查看ResourceManager状态:

yarn rmadmin -getServiceState bd-ops-test-73

执行手动切换:

yarn rmadmin -transitionToActive --forcemanual bd-ops-test-74

下面关于Hadoop的文章您也可能喜欢,不妨看看:

Ubuntu14.04下Hadoop2.4.1单机/伪分布式安装配置教程 

CentOS 6.3下Hadoop伪分布式平台搭建 

Ubuntu 14.04 LTS下安装Hadoop 1.2.1(伪分布模式)

Ubuntu上搭建Hadoop环境(单机模式+伪分布模式)

实战CentOS系统部署Hadoop集群服务

Hadoop 2.6.0 HA高可用集群配置详解 

Spark 1.5、Hadoop 2.7 集群环境搭建 

在Ubuntu X64上编译安装Hadoop

CentOS 6.7安装Hadoop 2.7.3 

CentOS7+Hadoop2.5.2+Spark1.5.2环境搭建 

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:https://www.heiqu.com/739836c3dc4f0e7caf4694fe154de230.html