Ubuntu 14.04 LTS下通过Cloudera CDH 5.4.8搭建Hadoop集群(2)

配置hostsname文件
一般在安装操作系统的时候指定的主机名是不带域名的，这里要把/etc/hostname文件的内容改为带完整域名的主机名。比如如下主机名：

tehdname1.linuxidc.net

配置sysctl.conf文件
在/etc/sysctl.conf文件的最后加入以下一行代码：

vm.swappiness=0 #注意等号前后都没有空格

其他配置

二. 安装CDH

在安装CDH的过程中，需要访问Internet用于下载必要的软件或安装包。其中，在运行Cloudera Manager的节点上需要下载安装JDK, Couldera Manager Server, DB, CDH包等等，其他所有节点都需要下载JDK, Cloudera Manager Agent等。
为了节省在安装过程中占用的网络带宽资源，节省下载安装包所消耗的时间，并考虑到以后可能存在的推到重装的可能性，建议先挑选一台主机，将该主机作为集群中唯一的节点来进行安装，当所有需要的安装包都下载完成后，即可中断安装过程，然后把这些包都备份起来。备份方法可参考如下命令：

mkdir ~/backup mkdir ~/backup/packages cp /var/cache/apt/archives/*.deb ~/backup/packages mkdir ~/backup/cdh cp /opt/cloudera/parcel-repo/* ~/backup/cdh 安装过程

为方便截图，且不影响现有的集群，以下安装过程在虚拟机上完成。

1.更新源
在所有节点上执行以下命令：

cd /etc/apt/sources.list.d sudo wget .cloudera.com/cm5/ubuntu/trusty/amd64/cm/cloudera.list sudo apt-get update

2.将安装包复制到所有节点上去
假定在前面的步骤中，安装包都备份在tehdmonitor主机上，在所有节点上（包括tehdmonitor）上执行以下命令：

sudo scp leon@tehdmonitor:/home/leon/backup/packages/*.deb /var/cache/apr/archives

3.在Cloudera Manager节点上安装JDK, cloudera server, DB
在Cloudera Manager节点上执行以下命令：

sudo apt-get -y --force-yes install ssh Oracle-j2sdk1.7 sudo apt-get -y --force-yes install cloudera-manager-daemons cloudera-manager-server sudo apt-get -y --force-yes install cloudera-manager-server-db-2

4.复制备份的CDH包到Cloudera Manager节点
在Cloudera Manager节点上执行以下命令：

sudo cp /home/leon/backup/cdh/* /opt/cloudera/parcel-repo

5.启动Cloudera Manager节点
在Cloudera Manager节点上执行以下命令：

sudo service cloudera-scm-server-db start sudo service cloudera-scm-server start

等Cloudera Manager启动完成后，等大约2分钟，我们就可以通过Web UI来配置我们的集群了。

6.打开Cloudera Manager的Console (Web UI)，并按提示进行操作

打开Web UI
使用浏览器访问Cloudera Manager节点的7180端口，比如:7180

登陆系统
登陆的用户名和密码都是admin