一. 环境
1.1 系统节点信息
HostnameIPCPU(cores)Memory(GB)OSServiceRemark
master
172.30.200.75
2
4
CentOS 7.5
jdk, cloudera-scm-server, mysql
实际部署后,master节点也需要部署cloudera-scm-agent服务,或采用4个slave节点
slave01
172.30.200.76
2
4
centos 7.5
jdk, cloudera-scm-agent
slave02
172.30.200.77
2
4
centos 7.5
jdk, cloudera-scm-agent
slave03
172.30.200.78
2
4
centos 7.5
jdk, cloudera-scm-agent
1.2 软件版本
相关软件放置在/usr/local/src/目录。
SoftVersionDownloadRemarkCM(Cloudera Manager) cloudera-manager-centos7-cm5.16.1_x86_64.tar.gz bin包,根据版本下载
CDH parcel CDH-5.16.1-1.cdh5.16.1.p0.3-el7.parcel 根据版本下载 软件安装包
CDH parcel.sha CDH-5.16.1-1.cdh5.16.1.p0.3-el7.parcel.sha1 根据版本下载 软件包hash码
CDH manifest.json manifest.json 根据版本下载 版本说明文件
JDK jdk-8u181-linux-x64.tar.gz bin包,根据版本下载
MySQL mysql-5.7.24-el7-x86_64.tar.gz bin包,根据版本下载 存放Cloudera Manager配置文件
MySQL-connector-Java mysql-connector-java-8.0.13.jar jar包,根据版本下载 JDBC
二. 准备工作 2.1 部分预配置
所有节点执行以下操作:
永久关闭防火墙(firewalld或iptables);
永久关闭selinux;
设置ntp。
2.2 设置hosts 2.3 免密访问设置
在所有节点生成秘钥
ssh-keygen -t rsa
在master节点生成authorized_keys文件
cat /root/.ssh/id_rsa.pub >> /root/.ssh/authorized_keys
在master节点执行,将集群每个节点的公钥id_rsa.pub放入master节点的authorized_keys文件中
for i in {1..3}; do ssh root@slave0$i cat /root/.ssh/id_rsa.pub >> /root/.ssh/authorized_keys; done在master节点执行,将master节点的authorized_keys文件放置到集群每个节点的/root/.ssh/目录,依然命名位authorized_keys
最终的效果是集群中所有节点两两相互免密访问;
注意:首次登陆时有公钥检查,可通过在/etc/ssh/ssh_config文件中设置StrictHostKeyChecking no绕过,或使用-o参数跳过。
for i in {1..3}; do scp /root/.ssh/authorized_keys root@slave0$i:/root/.ssh/authorized_keys; done 2.4 安装JDK所有节点都需要安装JDK。
安装JDK
cd /usr/local/src tar -zxvf jdk-8u181-linux-x64.tar.gz mkdir -p /usr/java mv jdk1.8.0_181/ /usr/java/ # 设置软链接,方便升级替换 ln -s /usr/java/jdk1.8.0_181/ /usr/java/current
设置变量
cat << EOF >> /etc/profile # JDK export JAVA_HOME=/usr/java/current export JRE_HOME=/usr/java/current/jre export PATH=$PATH:/usr/java/current/bin export CLASSPATH=./:/usr/java/current/lib:/usr/java/current/jre/lib EOF
验证
# 加载变量 source /etc/profile # 验证 java -version 2.5 安装MySQL只有master节点需要安装MySQL。
卸载系统自带的相关数据库
rpm -qa | grep mysql rpm -qa | grep mariadb # --nodeps:不检查依赖 rpm -e --nodeps mariadb-libs-5.5.56-2.el7.x86_64