Hadoop2.7.3+HBase1.2.5+ZooKeeper3.4.6搭建分布式集群环境(2)

<configuration>
    <property>
        <name>mapred.job.tracker</name>
        <value>master:9001</value>
    </property>
 </configuration>

3.1.5 修改slaves文件，localhost改为
# cat /data/yunva/hadoop-2.7.3/etc/hadoop/slaves

slave1
 slave2

注意：三台机器上都进行相同的配置，都放在相同的路径下(如果jdk路径不同需要单独修改)
使用scp命令进行从本地到远程（或远程到本地）的轻松文件传输操作：

scp -r /data/yunva/hadoop-2.7.3/    slave1:/data/yunva
 scp -r /data/yunva/hadoop-2.7.3/    slave2:/data/yunva
 3.2 启动hadoop集群

进入master的/data/yunva/hadoop-2.7.3/目录，执行以下操作：

# bin/hadoop namenode -format

格式化namenode，第一次启动服务前执行的操作，以后不需要执行。

然后启动hadoop：

# sbin/start-all.sh

通过jps命令能看到除jps外有3个进程：

# jps

30613 NameNode
 30807 SecondaryNameNode
 887 Jps
 30972 ResourceManager

hbase-env.sh(java路径不同需要修改)

master

export JAVA_HOME=/usr/java/jdk1.8.0_111
 export HBASE_CLASSPATH=/data/yunva/hadoop-2.7.3/etc/hadoop/
 export HBASE_MANAGES_ZK=false
 export HBASE_SSH_OPTS="-p 48490"  # 非默认ssh的22端口需要添加此项表示ssh为48490

slave1
 export JAVA_HOME=/usr/java/jdk1.8.0_65
 export HBASE_CLASSPATH=/data/yunva/hadoop-2.7.3/etc/hadoop/
 export HBASE_MANAGES_ZK=false
 export HBASE_SSH_OPTS="-p 48490"

slave2

export JAVA_HOME=/usr/java/jdk1.8.0_102
 export HBASE_CLASSPATH=/data/yunva/hadoop-2.7.3/etc/hadoop/
 export HBASE_MANAGES_ZK=false
 export HBASE_SSH_OPTS="-p 48490"

四、ZooKeeper集群安装配置

可参考 CentOS 6.5环境下Zookeeper-3.4.6集群环境部署及单机部署详解 https://www.linuxidc.com/Linux/2018-03/151439.htm

五、HBase集群安装配置
配置文件目录/data/yunva/hbase-1.2.5/conf

5.1 hbase-env.sh
 export JAVA_HOME=/usr/java/jdk1.8.0_111  # 如果jdk路径不同需要单独配置
export HBASE_CLASSPATH=/data/yunva/hadoop-2.7.3/etc/hadoop/
 export HBASE_MANAGES_ZK=false
 export HBASE_SSH_OPTS="-p 48490"  # ssh端口非默认22需要修改

5.2 hbase-site.xml(保持一致)

<configuration>
    <property>
        <name>hbase.rootdir</name>
        <value>hdfs://master:9000/hbase</value>
    </property>
    <property>
        <name>hbase.master</name>
        <value>master</value>
    </property>
    <property>
        <name>hbase.cluster.distributed</name>
        <value>true</value>
    </property>
    <property>
        <name>hbase.zookeeper.property.clientPort</name>
        <value>2181</value>
    </property>
    <property>
        <name>hbase.zookeeper.quorum</name>
        <value>master,slave1,slave2</value>
    </property>
    <property>
        <name>zookeeper.session.timeout</name>
        <value>60000000</value>
    </property>
    <property>
        <name>dfs.support.append</name>
        <value>true</value>
    </property>
 </configuration>

5.3 更改 regionservers

在 regionservers 文件中添加slave列表：

slave1
slave2

5.4 分发并同步安装包

将整个hbase安装目录都拷贝到所有slave服务器：

$ scp -P 48490 -r /data/yunva/hbase-1.2.5  slave1:/data/yunva/
 $ scp -P 48490 -r /data/yunva/hbase-1.2.5  slave2:/data/yunva/

六、启动集群

1. 启动ZooKeeper

/data/yunva/zookeeper-3.4.6/bin/zkServer.sh start

2. 启动hadoop

/data/yunva/hadoop-2.7.3/sbin/start-all.sh

3. 启动hbase

/data/yunva/hbase-1.2.5/bin/start-hbase.sh

4. 启动后，master上进程和slave进程列表