CentOS 7下CDH搭建Hadoop集群(2)

日期：2020-06-08 栏目：程序人生浏览：次

创建parcel目录，这个目录是server和agent用来接收和发送数据的目录，server端的parcel-repo这个目录会把所有的安装文件全部下载到此目录，而agent也需要安装包，parcels就是用来存储指定的安装包的，当然需要有权限能操作这些目录；

Server节点

mkdir -p /opt/cloudera/parcel-repo

chown cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo

Agent节点

mkdir -p /opt/cloudera/parcels

chown cloudera-scm:cloudera-scm /opt/cloudera/parcels

把CDH安装包移到cloudera/parcel-repo下面,并修改其中后缀为sha1的文件为sha,如下

CentOS 7下CDH搭建Hadoop集群

5、配置CM Server的数据库

cp mysql-connector-java.jar /opt/cm-5.15.0/share/cmf/lib/ 注意jar包名称要修改为mysql-connector-java.jar

mysql -u root -p123456 use mysql; grant all on *.* to 'root'@'%' identified by 'root' with grant option; flush privileges; 初始化cm数据库: cd /opt/cm-5.15.0/share/cmf/schema/ ./scm_prepare_database.sh mysql cm -h node11 -uroot -p123456 --scm-host node11 scm scm scm 格式：数据库类型、数据库、数据库服务器、用户名、密码、cm server服务器

创建其他组件需要的数据库

create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

create database oozie DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

create database hue DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

6、启动CM Manager&Agent服务

先确保启动了mysql service mysqld start

node11:执行 /opt/cm-5.15.0/etc/init.d/cloudera-scm-server start

node11,12,13: 执行 /opt/cm-5.15.0/etc/init.d/cloudera-scm-agent start

service服务启动需要几分钟，取决于服务器的性能，此时我们可以使用

netstat -apn|grep 7180

查询端口被占用后，就可以用浏览器打开:7180/进行访问了，登录用户名与密码分别为admin。

7、Server&Agent开机自启动服务

将/opt/cm-5.15.0/etc/init.d/目录下的cloudera-scm-server服务器启动脚本和cloudera-scm-agent代理服务启动脚本复制到/etc/init.d/目录下面。（/etc/init.d/目录用于存放开机启动脚本的目录）

//配置server主节点node11 [root@node11 ~]# cp /opt/cm-5.15.0/etc/init.d/cloudera-scm-server /etc/init.d/cloudera-scm-server [root@node11 ~]# chkconfig --add cloudera-scm-server [root@node11 ~]# chkconfig cloudera-scm-server on [root@node11 ~]# vi /etc/init.d/cloudera-scm-server CMF_DEFAULTS=${CMF_DEFAULTS:-/etc/default} 修改为 CMF_DEFAULTS=${CMF_DEFAULTS:-/opt/cm-5.15.0/etc/default} #你的cloudera manager安装目录，然后保存退出即可。添加：export JAVA_HOME=/usr/local/java/jdk1.8 #你的java安装目录 [root@node11 ~]# chkconfig --list cloudera-scm-server //然后查看状态,如果2-5显示开启表示配置成功。 [root@node11 ~]# service cloudera-scm-server start & systemctl start cloudera-scm-server.service
//配置agent所有节点,node11,node12,node13 [root@node11 ~]# cp /opt/cm-5.15.0/etc/init.d/cloudera-scm-agent /etc/init.d/cloudera-scm-agent [root@node11 ~]# chkconfig --add cloudera-scm-agent [root@node11 ~]# chkconfig cloudera-scm-agent on [root@node11 ~]# vi /etc/init.d/cloudera-scm-agent CMF_DEFAULTS=${CMF_DEFAULTS:-/etc/default} 修改为 CMF_DEFAULTS=${CMF_DEFAULTS:-/opt/cm-5.15.0/etc/default} 添加：export JAVA_HOME=/usr/local/java/jdk1.8 #你的java安装目录 [root@node11 ~]# service cloudera-scm-agent start & systemctl start cloudera-scm-agent.service

四、CDH5安装

CentOS 7下CDH搭建Hadoop集群