CM (Cloudera Manager) 的安装,便于CDH的离线部署

操作系统:CentOS 6.5

安装所需软件包:

CM: cloudera-manager-el6-cm5.4.3_x86_64.tar.gz             

CDH parcel: CDH-5.4.0-1.cdh5.4.0.p0.27-el6.parcel                           

CDH-5.4.0-1.cdh5.4.0.p0.27-el6.parcel.sha    #将下载的 CDH-5.4.0-1.cdh5.4.0.p0.27-el6.parcel.sha1重命名为CDH-5.4.0-1.cdh5.4.0.p0.27-el6.parcel.sha

manifest.json

JDK: jdk-7u67-linux-x64.rpm                 

MySql driver: mysql-connector-Java-5.1.26-bin.jar

软件下载地址:

CDH下载地址:

其中parcels地址:

CM下载地址:

CM安装官方文档说明:

二、系统环境配置 1、配置网络环境

将主机修改为静态IP

修改主机名及对应的IP

2、SHH设置免密码登录

ssh-keygen -t rsa        #生成密钥文件

ssh-copy-id  主机名  #将生成的公钥文件copy到指定主机

3、关闭防火墙

service iptables stop        #关闭防火墙

chkconfig iptables off      #关闭开机启动

4、关闭SELinux

setenforce 0  #临时关闭

vi /etc/selinux/config  修改SELINUX=disabled      #永久生效

5、配置时间同步

yun install ntp   

chkconfig ntp on

ntpdate -u ntp.sjtu.edu.cn  #如果此时间服务器无效,可网上找寻其他时间服务器

6、安装JDK

Jdk版本官网要求:1.7.0_67  1.7.0_75  1.8.0_60 

安装准备好的rpm包:rpm –ivh jdk-7u67-linux-x64.rpm

配置环境变量

vi ~/.bash_profile

#JAVA export JAVA_HOME=/usr/java/jdk1.7.0_67 export PATH=$PATH:$JAVA_HOME/bin

source ~/.bash_profile

7、安装mysql

官网推荐 5.1、5.5、5.6版本

安装:yum install mysql-server

修改权限:

GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY 'root' WITH GRANT OPTION;

flush privileges;

8、下载第三方依赖包

yum install chkconfig Python bind-utils psmisc libxslt zlib sqlite cyrus-sasl-plain cyrus-sasl-gssapi fuse fuse-libs RedHat-lsb –y

三、安装CM  1、安装CM Agent和Server

在agent和server主机上创建目录

mkdir /opt/cloudera-manager

将安装包解压到指定目录

tar xvzf cloudera-manager*.tar.gz -C /opt/cloudera-manager

2、创建用户 cloudera-scm

在所有节点上执行

useradd --system --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

3、配置CM Agent

修改配置文件/opt/cloudera-manager/cm-5.4.3/etc/cloudera-scm-agent/config.ini中的server_host和server_port。server_port默认为7182。

4、配置CM Server数据库

拷贝mysql驱动

cp mysql-connector-java-5.1.26-bin.jar /usr/share/java/mysql-connector-java.jar

执行mysql命令

grant all on *.* to 'temp'@'%' identified by 'temp' with grant option;

配置库

cd /opt/cloudera-manager/cm-5.4.3/share/cmf/schema/

./scm_prepare_database.sh mysql temp -h node1 -utemp -ptemp --scm-host node1 scm scm scm

其中node1为server主机名

5、创建parcel目录

Server节点

  mkdir -p /opt/cloudera/parcel-repo

  chown cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo

Agent节点

  mkdir -p /opt/cloudera/parcels

  chown cloudera-scm:cloudera-scm /opt/cloudera/parcels

6、上传CDH本地源

上传CDH-5.4.0-1.cdh5.4.0.p0.27-el6.parcel

CDH-5.4.0-1.cdh5.4.0.p0.27-el6.parcel.sha

manifest.json

文件到/opt/cloudera/parcel-repo

7、启动CM Server和Agent

cd /opt/cloudera-manager/cm-5.4.3/etc/init.d/

./cloudera-scm-server start

运行很慢,可通过log跟踪启动过程。

./cloudera-scm-agent start

在所有agent节点上,都要启动

8、访问CM

地址::7180

用户名、密码:admin

接下来就可以安装想要的CDH服务了。

CM安装服务的配置文件存放位置: /etc/

CM安装服务的运行日志位置:     /var/log/

CM安装服务的包文件存放位置:  /opt/cloudera/parcels/CDH-5.4.0-1.cdh5.4.0.p0.27/

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:https://www.heiqu.com/ebc0726705b630ffdaadd78776cab4fa.html