大家都知道,Apache Hadoop的配置很繁琐,而且很零散,为此Cloudera公司提供了Clouder Manager工具,而且还封装了Apache Hadoop,flume,spark,hive,hbase等大数据产品形成自己特色的CDH产品,再使用CM进行安装,很大程度上方便了集群的搭建,并提供了集群的监控功能。
一、环境:
1.三台VMware虚拟机(一个做为主节点,两个做为从节点)
hserver1n(主节点) hserver2n(从节点) hserver3n(从节点)CM Server
CM Agent CM Agent CM Agent
NameNode DateNode DateNode
Mysql
2.操作系统:CentOS 7
3.Cloudera Manager:5.14.1
4.CDH:5.14.0
5.JDK1.8
二、软件下载地址
2.CDH
3.JDK和MySQL自行搜索
三、系统环境设置:
以下步骤都使用root用户操作
1.设置静态IP
[root@localhost ~]# vim /etc/sysconfig/network-scripts/ifcfg-ens33
TYPE="Ethernet"
BOOTPROTO="static"
DEFROUTE="yes"
PEERDNS="yes"
PEERROUTES="yes"
IPV4_FAILURE_FATAL="no"
IPV6INIT="yes"
IPV6_AUTOCONF="yes"
IPV6_DEFROUTE="yes"
IPV6_PEERDNS="yes"
IPV6_PEERROUTES="yes"
IPV6_FAILURE_FATAL="no"
IPV6_ADDR_GEN_MODE="stable-privacy"
NAME="ens33"
UUID="edcb54db-f59d-4893-bd8e-8ae60d0ba6f9"
DEVICE="ens33"
ONBOOT="yes"
GATEWAY=192.168.124.2
IPADDR=192.168.124.136
NETMASK=255.255.255.0
DNS1=202.96.128.86
DNS2=223.5.5.5
还需要设置虚拟网络:
(1) 点击虚拟网络编辑器
(2)子网,子网掩码,以及NAT设置
(3)虚拟机网络选择刚设置的VMnet8
(4)重启网络
[root@localhost ~]# systemctl restart network
2.关闭防火墙和SELINUX
[root@localhost ~]# vim /etc/selinux/config .config/
将selinux=enforcing改成selinux=disabled
重启虚拟机
3.安装JDK
CentOS7默认安装的是OpenJDK,所以需要先卸载,然后安装Oracle JDK.
4.设置主机名(CentOS7与CentOS6主机名设置不同,请参考 https://www.linuxidc.com/Linux/2018-03/151464.htm )
(1)vim /etc/hostname
hserver1n
(2)hostname hserver1n
单台虚拟机设置好后,再复制两台虚拟机,修改HostName、IP、UUID即可。
5.配置三台虚拟机的Host文件
192.168.124.136 hserver1n
192.168.124.137 hserver2n
192.168.124.138 hserver3n
6.打通主节点SSH访问两个从节点
7.配置所有节点NTP时间同步服务
两个从节点同步主节点的时间
四、安装MySQL
mysql只需在主节点安装
mysql5.6开始mysql服务启动时会为root用户生成一个临时密码,通过grep 'password' /var/log/mysqld.log命令获取
配置密码验证策略,我选择的是不使用密码验证策略,以便创建简单密码
配置数据库字符集,我配置默认的字符集是utf8。
五、安装Clouder Manager及CDH
所有节点操作:
1.新建目录
$ sudo mkdir /opt/cloudera-manager
2.将下载的Clouder Manager解压到此目录下
$ sudo tar xzf cloudera-manager*.tar.gz -C /opt/cloudera-manager
3.创建用户cloudera-scm
由于Cloudera Manager和Managed Services默认使用cloudera-scm,所以需要创建此用户
$ sudo useradd --system --home=/opt/cloudera-manager/cm-5.14.1/run/cloudera-scm-server --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm
4.主节点创建Cloudera Manager服务本地数据存储目录
$ sudo mkdir /var/lib/cloudera-scm-server
$ sudo chown cloudera-scm:cloudera-scm /var/lib/cloudera-scm-server
5.配置Agent