CDH 5.16.1 离线部署 通过 CDH 部署 Hadoop 服务

一. 环境 1.1 系统节点信息 HostnameIPCPU(cores)Memory(GB)OSServiceRemark
master   172.30.200.75   2   4   CentOS 7.5   jdk, cloudera-scm-server, mysql   实际部署后,master节点也需要部署cloudera-scm-agent服务,或采用4个slave节点  
slave01   172.30.200.76   2   4   centos 7.5   jdk, cloudera-scm-agent      
slave02   172.30.200.77   2   4   centos 7.5   jdk, cloudera-scm-agent      
slave03   172.30.200.78   2   4   centos 7.5   jdk, cloudera-scm-agent      
1.2 软件版本

相关软件放置在/usr/local/src/目录。

SoftVersionDownloadRemark
CM(Cloudera Manager)   cloudera-manager-centos7-cm5.16.1_x86_64.tar.gz   bin包,根据版本下载      
CDH parcel   CDH-5.16.1-1.cdh5.16.1.p0.3-el7.parcel   根据版本下载   软件安装包  
CDH parcel.sha   CDH-5.16.1-1.cdh5.16.1.p0.3-el7.parcel.sha1   根据版本下载   软件包hash码  
CDH manifest.json   manifest.json   根据版本下载   版本说明文件  
JDK   jdk-8u181-linux-x64.tar.gz   bin包,根据版本下载      
MySQL   mysql-5.7.24-el7-x86_64.tar.gz   bin包,根据版本下载   存放Cloudera Manager配置文件  
MySQL-connector-Java   mysql-connector-java-8.0.13.jar   jar包,根据版本下载   JDBC  
二. 准备工作 2.1 部分预配置

所有节点执行以下操作:

永久关闭防火墙(firewalld或iptables);

永久关闭selinux;

设置ntp。

2.2 设置hosts 2.3 免密访问设置

在所有节点生成秘钥

ssh-keygen -t rsa

在master节点生成authorized_keys文件

cat /root/.ssh/id_rsa.pub >> /root/.ssh/authorized_keys

在master节点执行,将集群每个节点的公钥id_rsa.pub放入master节点的authorized_keys文件中

for i in {1..3}; do ssh root@slave0$i cat /root/.ssh/id_rsa.pub >> /root/.ssh/authorized_keys; done

在master节点执行,将master节点的authorized_keys文件放置到集群每个节点的/root/.ssh/目录,依然命名位authorized_keys

最终的效果是集群中所有节点两两相互免密访问;

注意:首次登陆时有公钥检查,可通过在/etc/ssh/ssh_config文件中设置StrictHostKeyChecking no绕过,或使用-o参数跳过。

for i in {1..3}; do scp /root/.ssh/authorized_keys root@slave0$i:/root/.ssh/authorized_keys; done

2.4 安装JDK

所有节点都需要安装JDK。

安装JDK

cd /usr/local/src tar -zxvf jdk-8u181-linux-x64.tar.gz mkdir -p /usr/java mv jdk1.8.0_181/ /usr/java/ # 设置软链接,方便升级替换 ln -s /usr/java/jdk1.8.0_181/ /usr/java/current

设置变量

cat << EOF >> /etc/profile # JDK export JAVA_HOME=/usr/java/current export JRE_HOME=/usr/java/current/jre export PATH=$PATH:/usr/java/current/bin export CLASSPATH=./:/usr/java/current/lib:/usr/java/current/jre/lib EOF

验证

# 加载变量 source /etc/profile # 验证 java -version

2.5 安装MySQL

只有master节点需要安装MySQL。

卸载系统自带的相关数据库

rpm -qa | grep mysql rpm -qa | grep mariadb # --nodeps:不检查依赖 rpm -e --nodeps mariadb-libs-5.5.56-2.el7.x86_64

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:https://www.heiqu.com/5a1d2e75088f1e10f7fb76514d2e52c7.html