CDH5.9.0集群部署与搭建

最近新购了一台工作站,急切的想试一下手,就搭建个CDH集群吧,练练手,顺便了解一下最新版的CDH长成什么样子了……
工作站的配置:Thinkpad P50,Intel(R)Xeon E3 1505M v5@2.80GHz 2.81GHz ;内存48G;显卡4G……

1 下载CDH各种RPM包 1.1 下载cloudera-manager-installer.bin

这个地址可以选择最新的CM的安装文件进行下载,此处,我选择的是5.9.0版本

(我选择下载的版本)

这里写图片描述

1.2 下载对应平台/架构的RPMS

对应我的平台的RPMS包下载地址如下:

RedHat/6/x86_64/cm/5.9.0/RPMS/x86_64/

这里写图片描述

2 设置IP地址(所有节点) 2.1 设置IP地址和网关 Master :IP 192.168.1.100 网关 192.168.1.254 Worker1:IP 192.168.1.101 网关 192.168.1.254 Worker2:IP 192.168.1.102 网关 192.168.1.254 Worker3:IP 192.168.1.103 网关 192.168.1.254 Worker4:IP 192.168.1.104 网关 192.168.1.254 2.2 设置主机名

修改系统的网络配置文件

vim /etc/sysconfig/network

例如:修改HOSTNAME=Master

这里写图片描述


各个节点的主机名配置如下

192.168.1.100 主机名: Master 192.168.1.101 主机名: Worker1 192.168.1.102 主机名: Worker2 192.168.1.103 主机名: Worker3 192.168.1.104 主机名: Worker4

(注:此处集群的各个节点的主机名字就是用安装系统时的设置的主机名,所以我就不用修改了)

3 设置hosts文件(所有节点)

绑定IP地址与HostName

vim /etc/hosts 192.168.1.100 Master 192.168.1.101 Worker1 192.168.1.102 Worker2 192.168.1.103 Worker3 192.168.1.104 Worker4

这里写图片描述

4 关闭防火墙(所有节点) 4.1 检查防火墙状态 service iptables status 4.2关闭防火墙 chkconfig iptables off //永远关闭-重启后生效 service iptables off //临时关闭-不用重启

系统重启后,查看防火墙状态如下

5 关闭SELinux(所有节点)

使用getenforce查看是否关闭:

显示的是在强制执行,接下来我们需要关掉它
修改/etc/selinux/config 文件,将SELINUX=enforcing改为SELINUX=disabled,修改完成后重启机器生效。

这里写图片描述


(将SELINUX=enforcing改为disabled)

这里写图片描述

reboot -h now

重启之后,查看是否生效

已经生效,注意每个节点都要关闭SElinux哟

6 配置SSH(可选) 6.1 修改sshd配置文件 vim /etc/ssh/sshd_config

这里写图片描述


去掉注释,放开这几个配置项

重启sshd服务

service sshd restart

6.2 生成私钥和公钥(所有节点) ssh-keygen -t rsa

Master:

这里写图片描述


Worker1:

这里写图片描述


Worker2:

这里写图片描述


Worker3:

这里写图片描述


Worker4:

这里写图片描述

6.3 重命名节点的公钥(所有节点) cp id_rsa.pub authorized_keys_Master

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:https://www.heiqu.com/8111dbfb8e5700deba99ef55d730ddb4.html