另外,在CDH5中建议关掉Checksums(见Upgrading HBase)以提高性能,最后的配置如下:
<configuration> <property> <name>hbase.cluster.distributed</name> <value>true</value> </property> <property> <name>hbase.rootdir</name> <value>hdfs://cdh1:8020/hbase</value> </property> <property> <name>hbase.tmp.dir</name> <value>/data/hbase</value> </property> <property> <name>hbase.zookeeper.quorum</name> <value>cdh1,cdh2,cdh3</value> </property> <property> <name>hbase.hregion.max.filesize</name> <value>536870912</value> </property> <property> <name>hbase.hregion.memstore.flush.size</name> <value>67108864</value> </property> <property> <name>hbase.regionserver.lease.period</name> <value>600000</value> </property> <property> <name>hbase.client.retries.number</name> <value>3</value> </property> <property> <name>hbase.regionserver.handler.count</name> <value>100</value> </property> <property> <name>hbase.hstore.compactionThreshold</name> <value>10</value> </property> <property> <name>hbase.hstore.blockingStoreFiles</name> <value>30</value> </property> <property> <name>hbase.regionserver.checksum.verify</name> <value>false</value> </property> <property> <name>hbase.hstore.checksum.algorithm</name> <value>NULL</value> </property> </configuration>
在 hdfs 中创建 /hbase 目录
$ sudo -u hdfs hadoop fs -mkdir /hbase $ sudo -u hdfs hadoop fs -chown hbase:hbase /hbase
设置 crontab 定时删除日志:
$ crontab -e * 10 * * * cd /var/log/hbase/; rm -rf `ls /var/log/hbase/|grep -P 'hbase\-hbase\-.+\.log\.[0-9]'\`>> /dev/null &
5.4 同步配置文件将配置文件同步到其他节点:
$ scp -r /etc/hbase/conf root@cdh2:/etc/hbase/ $ scp -r /etc/hbase/conf root@cdh3:/etc/hbase/
5.5 创建本地目录在 hbase-site.xml 配置文件中配置了 hbase.tmp.dir 值为 /data/hbase,现在需要在每个 hbase 节点创建该目录并设置权限:
$ mkdir /data/hbase $ chown -R hbase:hbase /data/hbase/
5.6 启动HBase$ for x in `ls /etc/init.d/|grep hbase` ; do service $x start ; done
5.7 测试通过 :60030/ 可以访问 RegionServer 页面,然后通过该页面可以知道哪个节点为 Master,然后再通过 60010 端口访问 Master 管理界面。
6. 安装hive在一个 NameNode 节点上安装 hive:
$ yum install hive hive-metastore hive-server2 hive-jdbc hive-hbase -y
在其他 DataNode 上安装:
$ yum install hive hive-server2 hive-jdbc hive-hbase -y
安装postgresql这里使用 postgresq l数据库来存储元数据,如果你想使用 MySQL 数据库,请参考下文。手动安装、配置 postgresql 数据库,请参考 手动安装Cloudera Hive CDH
yum 方式安装: