Hadoop搭建教程学习笔记(3)

配置apache hadoop append,默认这个属性是false,需要设置为true

修改(hadoop/conf/hdfs-site.xml)

<property>
  <name>dfs.support.append</name>
  <value>true</value>
</property>
<property>
  <name>dfs.datanode.max.xcievers</name>
  <value>4096</value>
</property>

一、解压与安装

解压hbase-0.94.2.tar.gz到/opt/目录下

tar -zxvf hbase-0.94.2.tar.gz -C /opt

mv hbase-0.94.2 hbase

二、配置hbase-env.sh

复制lib/hadoop-core.jar到hadoop下

配置JAVA_HOME:

export JAVA_HOME=/usr/java/jdk/

zookeeper管理

export HBASE_MANAGES_ZK=true

三、配置conf/hbase-site.xml

<property>
  <name>hbase.rootdir</name>
  <value>hdfs://master:9000/hbase</value>
</property>
<property>
  <name>hbase.cluster.distributed</name>
  <value>true</value>
</property>
<property>
&nbsp; <name>hbase.master</name>
&nbsp; <value>hdfs://master:60000</value>
</property>
<property>
  <name>hbase.tmp.dir</name>
  <value>/home/${user.name}/tmp</value>
</property>
<property>
  <name>hbase.zookeeper.quorum</name>
  <value>master</value>
</property>
<property>
  <name>hbase.zookeeper.property.clientPort</name>
  <value>2181</value>
</property>
<property>
  <name>hbase.zookeeper.property.dataDir</name>
  <value>/home/${user.name}/zookeeper</value>
</property>

hbase.rootdir设置hbase在hdfs上的目录,主机名为hdfs的namenode节点所在的主机
hbase.cluster.distributed设置为true,表明是完全分布式的hbase集群
hbase.master设置hbase的master主机名和端口
hbase.tmp.dir设置hbase的临时文件目录
hbase.zookeeper.quorum设置zookeeper的主机,建议hi使用单数
hbase.zookeeper.property.clientPort设置zookeeper的端口
hbase.zookeeper.property.dataDir设置zookeeper的存储目录

四、配置 conf/regionservers
将所有的region server 添加到这个文件,类似与hadoop的slaves文件

master

五、覆盖Hadoop类库

需要把Hbase/lib/hadoop-0.94.2-core.jar替换成实际hadoop/hadoop-core-1.0.4.jar

rm -rf hadoop-core-1.0.3.jar

cp /opt/hadoop/hadoop-core-1.0.4.jar .

六、执行

Hbase的所有数据都存储在hdfs中,因此直接启动便可。

/bin/start-hbase.sh

/bin/hbase-daemon.sh start thrift

七、Hbase自带的WEB管理界面

:60010/master-status 查看连点信息

:60030/rs-status 查看regionserver信息

:60010/zk.jsp 查看zookeeper信息

八、使Hadoop支持Hbase MapReduce

在HBase中,对Hadoop MapReduce进行了一些封装,使Hadoop MapReduce可以直接以HBase表作为输入和输出。一次,要配置Hadoop引入HBase的类库。在Hadoop的conf/hadoop-env.sh里面添加:

export HBASE_HOME=/opt/hbase
export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:$HBASE_HOME/hbase-0.94.2.jar:$HBASE_HOME/hbase-0.94.2-tests.jar:$HBASE_
      HOME/conf:$HBASE_HOME/lib/zookeeper-3.4.3.jar:$HBASE_HOME/lib/protobuf-java-2.4.0a.jar

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:http://www.heiqu.com/c83ead3578b9afa1c48d678db26224ff.html