大数据平台搭建-hbase集群的搭建

虚拟服务器安装

基础环境安装

zookeeper集群的搭建

kafka集群的搭建

hadoop/hbase集群的搭建

spark集群的搭建

flink集群的搭建

elasticsearch集群的搭建

alluxio集群的搭建

本文主要讲解hbase的分布式搭建过程。

版本要求

java版本：1.8.0_181

zookeeper版本:zookeeper-3.4.10

hadoop版本:hadoop-2.7.6

hbase版本：hbase-1.2.6.1

前置条件 免密登录

见链接免密登录

java安装

见链接java安装

zookeeper安装

见链接zookeeper安装

hadoop安装

见链接hadoop安装

服务器资源和分配

本文服务器列表如下：

192.168.220.200 bigdata1 192.168.220.201 bigdata2 192.168.220.202 bigdata3 192.168.220.203 bigdata4 192.168.220.204 bigdata5

其中选用bigdata1和bigdata2作为namenode,bigdata3、bigdat4、bigdata5作为dataNode，安装完成后各节点进程名如下：

主机名   ip地址   HMaster   HRegionServer  
bigdata1   192.168.220.200   Y   N  
bigdata2   192.168.220.201   N   Y  
bigdata3   192.168.220.202   N   Y  
bigdata4   192.168.220.203   N   Y  
bigdata5   192.168.220.204   N   Y  
解压安装 tar -zxvf hbase-1.2.6.1-bin.tar.gz mv hbase-1.2.6.1-bin hbase 环境变量 vi ~/.bash_profile export JAVA_HOME=http://www.likecs.com/wls/oracle/jdk export SCALA_HOME=http://www.likecs.com/wls/oracle/scala export ZOOKEEPER_HOME=http://www.likecs.com/wls/oracle/zookeeper export HADOOP_HOME=http://www.likecs.com/wls/oracle/hadoop export HBASE_HOME=http://www.likecs.com/wls/oracle/hbase export SPARK_HOME=http://www.likecs.com/wls/oracle/spark export PATH=$PATH:$HOME/bin:$JAVA_HOME/bin:$SCALA_HOME/bin:$SPARK_HOME/bin:$ZOOKEEPER_HOME/bin:$HADOOP_HOME/bin:$HBASE_HOME/bin export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar export PATH　CLASSPATH JAVA_HOME SCALA_HOME ZOOKEEPER_HOME HADOOP_HOME SPARK_HOME 配置

hbase需要修改的配置主要包含如下文件

hbase-env.sh hbase-site.xml regionservers hbase-env.sh

hbase-env.sh文件增加JAVA_HOME的配置即可

export JAVA_HOME=http://www.likecs.com/home/oracle/jdk hbase-site.xml

hbase.master:指定master节点
hbase.rootdir:指定hbase文件存储路径
hbase.zookeeper.quorum:指定zookeeper地址
hbase.zookeeper.property.dataDir:指定在zookeeper存储的目录
完整配置如下：

<?xml version="1.0"?> <?xml-stylesheet type="text/xsl" href="http://www.likecs.com/configuration.xsl"?> <configuration> <property> <name>hbase.master</name> <value>192.168.220.200:60000</value> </property> <property> <name>hbase.master.maxclockskew</name> <value>180000</value> </property> <property> <name>hbase.cluster.distributed</name> <value>true</value> </property> <property> <name>hbase.rootdir</name> <value>hdfs://cluster/hbase</value> </property> <property> <name>hbase.cluster.distributed</name> <value>true</value> </property> <property> <name>hbase.zookeeper.quorum</name> <value>192.168.220.200,192.168.220.201,192.168.220.202</value> </property> <property> <name>hbase.zookeeper.property.dataDir</name> <value>/hbase</value> </property> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>zookeeper.session.timeout</name> <value>60000</value> </property> <property> <name>hbase.regionserver.lease.period</name> <value>900000</value> </property> <property> <name>hbase.rpc.timeout</name> <value>900000</value> </property> </configuration> regionservers bigdata2 bigdata3 bigdata4 bigdata5 启动

配置完成后,启动hbase

/home/oracle/hbase/bin/start-hbase.sh

停止hbase脚本如下

/home/oracle/hbase/bin/stop-hbase.sh

本文主要讲解分布hbase搭建的过程，后续将会说明hbase使用相关的问题。