配置apache hadoop append,默认这个属性是false,需要设置为true
修改(hadoop/conf/hdfs-site.xml)
<property>
<name>dfs.support.append</name>
<value>true</value>
</property>
<property>
<name>dfs.datanode.max.xcievers</name>
<value>4096</value>
</property>
一、解压与安装
解压hbase-0.94.2.tar.gz到/opt/目录下
tar -zxvf hbase-0.94.2.tar.gz -C /opt
mv hbase-0.94.2 hbase
二、配置hbase-env.sh
复制lib/hadoop-core.jar到hadoop下
配置JAVA_HOME:
export JAVA_HOME=/usr/java/jdk/
zookeeper管理
export HBASE_MANAGES_ZK=true
三、配置conf/hbase-site.xml
<property>
<name>hbase.rootdir</name>
<value>hdfs://master:9000/hbase</value>
</property>
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
<property>
<name>hbase.master</name>
<value>hdfs://master:60000</value>
</property>
<property>
<name>hbase.tmp.dir</name>
<value>/home/${user.name}/tmp</value>
</property>
<property>
<name>hbase.zookeeper.quorum</name>
<value>master</value>
</property>
<property>
<name>hbase.zookeeper.property.clientPort</name>
<value>2181</value>
</property>
<property>
<name>hbase.zookeeper.property.dataDir</name>
<value>/home/${user.name}/zookeeper</value>
</property>
hbase.rootdir设置hbase在hdfs上的目录,主机名为hdfs的namenode节点所在的主机
hbase.cluster.distributed设置为true,表明是完全分布式的hbase集群
hbase.master设置hbase的master主机名和端口
hbase.tmp.dir设置hbase的临时文件目录
hbase.zookeeper.quorum设置zookeeper的主机,建议hi使用单数
hbase.zookeeper.property.clientPort设置zookeeper的端口
hbase.zookeeper.property.dataDir设置zookeeper的存储目录
四、配置 conf/regionservers
将所有的region server 添加到这个文件,类似与hadoop的slaves文件
master
五、覆盖Hadoop类库
需要把Hbase/lib/hadoop-0.94.2-core.jar替换成实际hadoop/hadoop-core-1.0.4.jar
rm -rf hadoop-core-1.0.3.jar
cp /opt/hadoop/hadoop-core-1.0.4.jar .
六、执行
Hbase的所有数据都存储在hdfs中,因此直接启动便可。
/bin/start-hbase.sh
/bin/hbase-daemon.sh start thrift
七、Hbase自带的WEB管理界面
:60010/master-status 查看连点信息
:60030/rs-status 查看regionserver信息
:60010/zk.jsp 查看zookeeper信息
八、使Hadoop支持Hbase MapReduce
在HBase中,对Hadoop MapReduce进行了一些封装,使Hadoop MapReduce可以直接以HBase表作为输入和输出。一次,要配置Hadoop引入HBase的类库。在Hadoop的conf/hadoop-env.sh里面添加:
export HBASE_HOME=/opt/hbase
export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:$HBASE_HOME/hbase-0.94.2.jar:$HBASE_HOME/hbase-0.94.2-tests.jar:$HBASE_
HOME/conf:$HBASE_HOME/lib/zookeeper-3.4.3.jar:$HBASE_HOME/lib/protobuf-java-2.4.0a.jar