这段时间一直在安装CDH,安装第三次,终于成功了。 第一次问题很多,后面卸载了,由于没有卸载干净导致第二次安装失败。后来索性重装系统了,直接使用了纯净系统进行安装。一个人跑到学院机房去装系统,苦逼惨了。
,不扯了,记录下安装流程。
系统环境
操作系统:CentOS 6.5 x64,配置如下:
Cloudera Manager:5.3.4 CDH: 5.3.4
前期准备工作(系统环境搭建)
所需软件 cloudera-manager-el6-cm5.3.4_x86_64.tar.gz、mysql-connector-Java-5.1.25-bin.jar
1、设置静态IP地址
vi /etc/sysconfig/network-scripts/ifcfg-eth0
由于我重装系统时已经设置了,这里就不设置了。
2、修改主机名
hostname 主机名 (当前生效)
vi /etc/sysconfig/network (下次启动生效)
[root@Hadoop2 opt]# cat /etc/sysconfig/network
NETWORKING=yes
HOSTNAME=hadoop2
GATEWAY=172.23.253.1
NTPSERVERARGS=iburst
由于我重装系统时已经设置了,这里就不设置了。
3、绑定 IP与HostName
在hadoop1节点上操作
vi /etc/hosts
172.23.253.20 hadoop1
172.23.253.22 hadoop2
172.23.253.23 hadoop3
172.23.253.24 hadoop4
172.23.253.25 hadoop5
172.23.253.26 hadoop6
复制到其它节点(hadoop2~hadoop6)
scp /etc/hosts hadoop2:/etc/
scp /etc/hosts hadoop6:/etc/
4、设置SSH免密码登录(所有节点)
1、重新生成密钥 (各个节点)
[root@hadoop1 /]# cd /root/.ssh/
[root@hadoop1 .ssh]# ssh-keygen -t rsa
[root@hadoop1 .ssh]# cat id_rsa.pub >> authorized_keys
测试是否成功ssh localhost
其他其它节点同样的方式生成密钥。
2、设置两两结点间的免密码登录
hadoop2~hadoop6将自己的公钥复制给对方主机
ssh-copy-id -i hadoop1
hadoop1复制自己的authorized_keys给其他主机 hadoop2~hadoop6,这样都可以互相免密码登录了。
scp /root/.ssh/authorized_keys hadoop2:/root/.ssh/
scp /root/.ssh/authorized_keys hadoop6:/root/.ssh/
5、安装Oracle的Java
CentOS自带Open Jdk,不过运行CDH5需要使用Oracle的jdk,需要Java 7的支持。jdk安装的时候,一定要采用rpm的安装方式,而不要采用tar解压的安装方式。因为rpm的安装方式,会在/usr/lib下新建两个软连接。
首先,卸载自带的OpenJdk,使用rpm -qa | grep java查询java相关的包,使用rpm -e --nodeps 包名卸载掉。
由于是rpm包并不需要我们来配置环境变量,我们只需要配置一个全局的JAVA_HOME变量即可,执行命令:
echo "JAVA_HOME=/usr/java/latest/" >> /etc/environment
执行命令java -version和javac -version,查看Jdk是否安装正确。
1、卸载系统自带OPEN-JDK(所有节点)
[root@hadoop1 .ssh]# rpm -qa | grep java
java-1.7.0-openjdk-1.7.0.45-2.4.3.3.el6.x86_64
tzdata-java-2013g-1.el6.noarch
java-1.6.0-openjdk-1.6.0.0-1.66.1.13.0.el6.x86_64
[root@hadoop1 .ssh]# rpm -e --nodeps java-1.7.0-openjdk-1.7.0.45-2.4.3.3.el6.x86_64
tzdata-java-2013g-1.el6.noarch java-1.6.0-openjdk-1.6.0.0-1.66.1.13.0.el6.x86_64
2、安装Oracle的JDK(所有节点)
[root@hadoop1 opt]# rpm -ivh jdk-7u80-linux-x64.rpm
Preparing... ########################################### [100%]
1:jdk ########################################### [100%]
Unpacking JAR files...
rt.jar...
jsse.jar...
charsets.jar...
tools.jar...
localedata.jar...
jfxrt.jar...
[root@hadoop1 opt]# echo "JAVA_HOME=/usr/java/latest/" >> /etc/environment
[root@hadoop1 opt]# java -version
java version "1.7.0_80"
Java(TM) SE Runtime Environment (build 1.7.0_80-b15)
Java HotSpot(TM) 64-Bit Server VM (build 24.80-b11, mixed mode)
[root@hadoop1 opt]# javac -version
javac 1.7.0_80
6、安装和配置MySql(主节点)