使用yum源安装CDH Hadoop集群(6)

drwxrwxrwt - hdfs hadoop 0 2014-04-19 14:21 /tmp drwxrwxrwx - hdfs hadoop 0 2014-04-19 14:26 /user drwxrwxrwt - mapred hadoop 0 2014-04-19 14:31 /user/history drwxr-x--- - mapred hadoop 0 2014-04-19 14:38 /user/history/done drwxrwxrwt - mapred hadoop 0 2014-04-19 14:48 /user/history/done_intermediate drwxr-xr-x - hdfs hadoop 0 2014-04-19 15:31 /yarn drwxrwxrwt - yarn mapred 0 2014-04-19 15:31 /yarn/apps

3.5 同步配置文件

同步配置文件到整个集群:

$ scp -r /etc/hadoop/conf root@cdh2:/etc/hadoop/ $ scp -r /etc/hadoop/conf root@cdh3:/etc/hadoop/

3.6 启动服务

在每个节点启动 YARN :

$ for x in `ls /etc/init.d/|grep hadoop-yarn` ; do service $x start ; done

在 cdh1 节点启动 mapred-historyserver :

$ /etc/init.d/hadoop-mapreduce-historyserver start

为每个 MapReduce 用户创建主目录，比如说 hive 用户或者当前用户：

$ sudo -u hdfs hadoop fs -mkdir /user/$USER $ sudo -u hdfs hadoop fs -chown $USER /user/$USER

3.7 测试

通过 :8088/ 可以访问 Yarn 的管理页面，通过 :19888/ 可以访问 JobHistory 的管理页面，查看在线的节点：:8088/cluster/nodes。

运行下面的测试程序，看是否报错：

# Find how many jars name ending with examples you have inside location /usr/lib/ $ find /usr/lib/ -name "*hadoop*examples*.jar" # To list all the class name inside jar $ find /usr/lib/ -name "hadoop-examples.jar" | xargs -0 -I '{}' sh -c 'jar tf {}' # To search for specific class name inside jar $ find /usr/lib/ -name "hadoop-examples.jar" | xargs -0 -I '{}' sh -c 'jar tf {}' | grep -i wordcount.class # 运行 randomwriter 例子 $ sudo -u hdfs hadoop jar /usr/lib/hadoop-mapreduce/hadoop-mapreduce-examples.jar randomwriter out

4. 安装 Zookeeper

Zookeeper 至少需要3个节点，并且节点数要求是基数，这里在所有节点上都安装 Zookeeper。

4.1 安装

在每个节点上安装zookeeper：

$ yum install zookeeper* -y

4.2 修改配置文件

设置 zookeeper 配置 /etc/zookeeper/conf/zoo.cfg

maxClientCnxns=50 tickTime=2000 initLimit=10 syncLimit=5 dataDir=/var/lib/zookeeper clientPort=2181 server.1=cdh1:2888:3888 server.2=cdh3:2888:3888 server.3=cdh3:2888:3888

##4.3 同步配置文件

将配置文件同步到其他节点：

$ scp -r /etc/zookeeper/conf root@cdh2:/etc/zookeeper/ $ scp -r /etc/zookeeper/conf root@cdh3:/etc/zookeeper/

4.4 初始化并启动服务

在每个节点上初始化并启动 zookeeper，注意 n 的值需要和 zoo.cfg 中的编号一致。

在 cdh1 节点运行：

$ service zookeeper-server init --myid=1 $ service zookeeper-server start

在 cdh2 节点运行：

$ service zookeeper-server init --myid=2 $ service zookeeper-server start

在 cdh3 节点运行：

$ service zookeeper-server init --myid=3 $ service zookeeper-server start

4.5 测试

通过下面命令测试是否启动成功：

$ zookeeper-client -server cdh1:2181

5. 安装 HBase

HBase 依赖 ntp 服务，故需要提前安装好 ntp。

5.1 安装前设置

1）修改系统 ulimit 参数，在 /etc/security/limits.conf 中添加下面两行并使其生效：

hdfs - nofile 32768 hbase - nofile 32768

2）修改 dfs.datanode.max.xcievers，在 hdfs-site.xml 中修改该参数值，将该值调整到较大的值：

<property> <name>dfs.datanode.max.xcievers</name> <value>8192</value> </property>

5.2 安装

在每个节点上安装 master 和 regionserver，如果需要你可以安装 hbase-rest、hbase-solr-indexer、hbase-thrift

$ yum install hbase hbase-master hbase-regionserver -y

5.3 修改配置文件

修改 hbase-site.xml文件，关键几个参数及含义如下：

hbase.distributed：是否为分布式模式

hbase.rootdir：HBase在hdfs上的目录路径

hbase.tmp.dir：本地临时目录

hbase.zookeeper.quorum：zookeeper集群地址，逗号分隔

hbase.hregion.max.filesize：hregion文件最大大小

hbase.hregion.memstore.flush.size：memstore文件最大大小