CentOS 7下Cloudera Manager及CDH 5.14.0安装过程详解

大家都知道,Apache Hadoop的配置很繁琐,而且很零散,为此Cloudera公司提供了Clouder Manager工具,而且还封装了Apache Hadoop,flume,spark,hive,hbase等大数据产品形成自己特色的CDH产品,再使用CM进行安装,很大程度上方便了集群的搭建,并提供了集群的监控功能。

一、环境:

1.三台VMware虚拟机(一个做为主节点,两个做为从节点)

hserver1n(主节点)   hserver2n(从节点)   hserver3n(从节点)  
CM Server          
CM Agent   CM Agent   CM Agent  
NameNode   DateNode   DateNode  
Mysql          

2.操作系统:CentOS 7

3.Cloudera Manager:5.14.1

4.CDH:5.14.0

5.JDK1.8

二、软件下载地址

1.Cloudera Manager

2.CDH

3.JDK和MySQL自行搜索

三、系统环境设置:

以下步骤都使用root用户操作

1.设置静态IP

[root@localhost ~]# vim /etc/sysconfig/network-scripts/ifcfg-ens33
TYPE="Ethernet"
BOOTPROTO="static"
DEFROUTE="yes"
PEERDNS="yes"
PEERROUTES="yes"
IPV4_FAILURE_FATAL="no"
IPV6INIT="yes"
IPV6_AUTOCONF="yes"
IPV6_DEFROUTE="yes"
IPV6_PEERDNS="yes"
IPV6_PEERROUTES="yes"
IPV6_FAILURE_FATAL="no"
IPV6_ADDR_GEN_MODE="stable-privacy"
NAME="ens33"
UUID="edcb54db-f59d-4893-bd8e-8ae60d0ba6f9"
DEVICE="ens33"
ONBOOT="yes"
GATEWAY=192.168.124.2
IPADDR=192.168.124.136
NETMASK=255.255.255.0
DNS1=202.96.128.86
DNS2=223.5.5.5

还需要设置虚拟网络:

(1) 点击虚拟网络编辑器

CentOS 7下Cloudera Manager及CDH 5.14.0安装过程详解

(2)子网,子网掩码,以及NAT设置

CentOS 7下Cloudera Manager及CDH 5.14.0安装过程详解

CentOS 7下Cloudera Manager及CDH 5.14.0安装过程详解

(3)虚拟机网络选择刚设置的VMnet8 

CentOS 7下Cloudera Manager及CDH 5.14.0安装过程详解

(4)重启网络

[root@localhost ~]# systemctl restart network

CentOS 7下Cloudera Manager及CDH 5.14.0安装过程详解

2.关闭防火墙和SELINUX

[root@localhost ~]# vim /etc/selinux/config .config/
将selinux=enforcing改成selinux=disabled

重启虚拟机

3.安装JDK

CentOS7默认安装的是OpenJDK,所以需要先卸载,然后安装Oracle JDK.

4.设置主机名(CentOS7与CentOS6主机名设置不同,请参考  https://www.linuxidc.com/Linux/2018-03/151464.htm )

(1)vim /etc/hostname

hserver1n

(2)hostname hserver1n

单台虚拟机设置好后,再复制两台虚拟机,修改HostName、IP、UUID即可。 

5.配置三台虚拟机的Host文件

192.168.124.136  hserver1n

192.168.124.137  hserver2n

192.168.124.138  hserver3n

6.打通主节点SSH访问两个从节点

7.配置所有节点NTP时间同步服务

两个从节点同步主节点的时间

四、安装MySQL

 mysql只需在主节点安装

 mysql5.6开始mysql服务启动时会为root用户生成一个临时密码,通过grep 'password'  /var/log/mysqld.log命令获取

 配置密码验证策略,我选择的是不使用密码验证策略,以便创建简单密码

 配置数据库字符集,我配置默认的字符集是utf8。

五、安装Clouder Manager及CDH

所有节点操作:

1.新建目录

$ sudo mkdir /opt/cloudera-manager

2.将下载的Clouder Manager解压到此目录下

$ sudo tar xzf cloudera-manager*.tar.gz -C /opt/cloudera-manager

3.创建用户cloudera-scm

由于Cloudera Manager和Managed Services默认使用cloudera-scm,所以需要创建此用户

$ sudo useradd --system --home=/opt/cloudera-manager/cm-5.14.1/run/cloudera-scm-server --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

4.主节点创建Cloudera Manager服务本地数据存储目录

$ sudo mkdir /var/lib/cloudera-scm-server
$ sudo chown cloudera-scm:cloudera-scm /var/lib/cloudera-scm-server

5.配置Agent

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:https://www.heiqu.com/a93fac35440fc451074e903c370fc872.html