useradd --system --home=http://www.likecs.com/opt/cloudera-manager/cm-5.8.0/run/cloudera-scm-server --no-create-home --shell=http://www.likecs.com/bin/false --comment "Cloudera SCM User" cloudera-scm
4.4.创建log文件夹 mkdir /var/log/cloudera-scm-server chown cloudera-scm:cloudera-scm /var/log/cloudera-scm-server 4.5.修改agent指向的sever地址进入到cd /opt/cloudera-manager/cm-5.8.0/etc/cloudera-scm-agent
使用vim config.ini
将server_host=localhost改为server_host=master
4.6.创建存放parcel的文件夹 mkdir -p /opt/cloudera/parcel-repo chown cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo mkdir -p /opt/cloudera/parcels chown cloudera-scm:cloudera-scm /opt/cloudera/parcels 4.7.创建run/cloudera-scm-agent文件夹mkdir /opt/cloudera-manager/cm-5.8.0/run/cloudera-scm-agent
如果有则不用创建。
以下开始是在Master上进行!
4.8.为Cloudera Manager 5建立数据库将mysql-connector-java-5.1.6-bin.jar文件放到/opt/cm-5.8.0/share/cmf/lib/中。
cp mysql-connector-java-5.1.6-bin.jar /opt/cloudera-manager/cm-5.8.0/share/cmf/lib/
4.9.在master节点初始化CM5的数据库/opt/cloudera-manager/cm-5.8.0/share/cmf/schema/scm_prepare_database.sh mysql cm -hlocalhost -uroot -proot --scm-host localhost scm scm scm
4.10.准备Parcels,用以安装CDH5将CHD5相关的Parcel包放到主节点的/opt/cloudera/parcel-repo/目录中(parcel-repo需要手动创建)。
相关的文件如下:
CDH-5.8.0-1.cdh5.8.0.p0.42-el6.parcel
CDH-5.8.0-1.cdh5.8.0.p0.42-el6.parcel.sha1
manifest.json
最后将CDH-5.8.0-1.cdh5.8.0.p0.42-el6.parcel.sha1,重命名为CDH-5.8.0-1.cdh5.8.0.p0.42-el6.parcel.sha,这点必须注意,否则,系统会重新下载CDH-5.3.8-1.cdh5.3.8.p0.5-el6.parcel.sha文件。
4.11.执行启动脚本在master节点启动服务端:
/opt/cloudera-manager/cm-5.8.0/etc/init.d/cloudera-scm-server start
在所有节点启动Agent:
/opt/cloudera-manager/cm-5.8.0/etc/init.d/cloudera-scm-agent start
等待5分钟,分别使用
/opt/cloudera-manager/cm-5.8.0/etc/init.d/cloudera-scm-server status
/opt/cloudera-manager/cm-5.8.0/etc/init.d/cloudera-scm-agent status
检查server和agent状态。如果出错,比如死掉了之类的,去
/opt/cloudera-manager/cm-5.8.0/log里面查看日志,看看是哪里报错了
如果agent报错是以下这样
Traceback (most recent call last): File "/opt/cloudera-manager/cm-5.8.0/lib64/cmf/agent/build/env/lib/python2.6/site-packages/cmf-5.8.0-py2.6.egg/cmf/agent.py", line 2163, in connect_to_new_supervisor self.get_supervisor_process_info() File "/opt/cloudera-manager/cm-5.8.0/lib64/cmf/agent/build/env/lib/python2.6/site-packages/cmf-5.8.0-py2.6.egg/cmf/agent.py", line 2185, in get_supervisor_process_info self.identifier = self.supervisor_client.supervisor.getIdentification() File "/usr/lib64/python2.6/xmlrpclib.py", line 1199, in __call__ return self.__send(self.__name, args) File "/usr/lib64/python2.6/xmlrpclib.py", line 1489, in __request verbose=self.__verbose File "/opt/cloudera-manager/cm-5.8.0/lib64/cmf/agent/build/env/lib/python2.6/site-packages/supervisor-3.0-py2.6.egg/supervisor/xmlrpc.py", line 470, in request '' ) ProtocolError: <ProtocolError for 127.0.0.1/RPC2: 401 Unauthorized>重启虚拟机即可解决,是因为有什么程序占用了那个端口。
5.配置CDH集群PS:由于某些原因,安装的时候我的主机名也就是Master是叫yao5,不要在意
验证都正常工作后,就在浏览器打开:7180进入CDH管理界面,由于CM Server的启动需要花点时间,这里可能要等待一会(我最久等了20分钟)才能访问,默认的用户名和密码均为admin。
5.1.为CDH群集安装指定主机在为CDH群集安装指定主机这一步(忘截图了==|||),要能直接在当前管理的主机能看到三台机子,分别为Master,Slave1,Slave2.才说明安装正确了,如果搜不到,说明可能是你偷懒直接复制cm-5.8.0这个文件夹给其他主机了,因为在启动的时候会生成一个SSID,是这个机子唯一的,所以搜索的时候可能会出问题。
5.2.群集安装