使用yum源安装CDH Hadoop集群(7)

另外,在CDH5中建议关掉Checksums(见Upgrading HBase)以提高性能,最后的配置如下:

<configuration> <property> <name>hbase.cluster.distributed</name> <value>true</value> </property> <property> <name>hbase.rootdir</name> <value>hdfs://cdh1:8020/hbase</value> </property> <property> <name>hbase.tmp.dir</name> <value>/data/hbase</value> </property> <property> <name>hbase.zookeeper.quorum</name> <value>cdh1,cdh2,cdh3</value> </property> <property> <name>hbase.hregion.max.filesize</name> <value>536870912</value> </property> <property> <name>hbase.hregion.memstore.flush.size</name> <value>67108864</value> </property> <property> <name>hbase.regionserver.lease.period</name> <value>600000</value> </property> <property> <name>hbase.client.retries.number</name> <value>3</value> </property> <property> <name>hbase.regionserver.handler.count</name> <value>100</value> </property> <property> <name>hbase.hstore.compactionThreshold</name> <value>10</value> </property> <property> <name>hbase.hstore.blockingStoreFiles</name> <value>30</value> </property> <property> <name>hbase.regionserver.checksum.verify</name> <value>false</value> </property> <property> <name>hbase.hstore.checksum.algorithm</name> <value>NULL</value> </property> </configuration>

在 hdfs 中创建 /hbase 目录

$ sudo -u hdfs hadoop fs -mkdir /hbase $ sudo -u hdfs hadoop fs -chown hbase:hbase /hbase

设置 crontab 定时删除日志:

$ crontab -e * 10 * * * cd /var/log/hbase/; rm -rf `ls /var/log/hbase/|grep -P 'hbase\-hbase\-.+\.log\.[0-9]'\`>> /dev/null &

5.4 同步配置文件

将配置文件同步到其他节点:

$ scp -r /etc/hbase/conf root@cdh2:/etc/hbase/ $ scp -r /etc/hbase/conf root@cdh3:/etc/hbase/

5.5 创建本地目录

在 hbase-site.xml 配置文件中配置了 hbase.tmp.dir 值为 /data/hbase,现在需要在每个 hbase 节点创建该目录并设置权限:

$ mkdir /data/hbase $ chown -R hbase:hbase /data/hbase/

5.6 启动HBase

$ for x in `ls /etc/init.d/|grep hbase` ; do service $x start ; done

5.7 测试

通过 :60030/ 可以访问 RegionServer 页面,然后通过该页面可以知道哪个节点为 Master,然后再通过 60010 端口访问 Master 管理界面。

6. 安装hive

在一个 NameNode 节点上安装 hive:

$ yum install hive hive-metastore hive-server2 hive-jdbc hive-hbase -y

在其他 DataNode 上安装:

$ yum install hive hive-server2 hive-jdbc hive-hbase -y

安装postgresql

这里使用 postgresq l数据库来存储元数据,如果你想使用 MySQL 数据库,请参考下文。手动安装、配置 postgresql 数据库,请参考 手动安装Cloudera Hive CDH

yum 方式安装:

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:https://www.heiqu.com/db4a7121584d8905dd7ecca24b051cac.html