分别在每个机器上运行命令zkServer.sh start或者在$ZOOKEEPER_HOME/bin目录下运行./zkServer.sh start命令。然后可以通过命令jps来查看Zookeeper启动的进程QuorumPeerMain。
可通过zkServer.sh status命令来查看Zookeeper状态。正常是机器中只有一个leader,其他的都是follow
2.格式化ZooKeeper集群
目的是在ZooKeeper集群上建立HA的相应节点。
在master1机器上执行命令
他会根据$HADOOP_HOME/etc/hadoop/core-site.xml文件中ha.zookeeper.quorum的值来进行初始化。
3.启动journalnode进程
在master1节点上执行
或者在每台机器上执行
slave1 slave2 slave3
推荐第二种方法,第一种方法master1和master2的journalnode无法启动
启动后在所有节点上多出JournalNode进程
4.格式化namenode
在master1上执行命令
会在mydata文件下创建一些文件夹及文件(name或者data以及journal)
5.启动namenode
在master1上执行命令
在master1上多出进程NameNode
6.将刚才格式化的namenode信息同步到备用namenode上
在master2机器上执行命令
7.在master2上启动namenode
在master2上多出进程NameNode
8.启动所有datanode
在master1上执行命令
执行后在datanode节点上显示的进程datanode
9.启动yarn
在master1上执行命令
在master1上多出ResourceManager进程,在slave1 slave2 slave3上多出NodeManager进程
10.启动ZKFC
在master1和master2上启动zkfc
11.Hadoop启动成功
下图是两个启动后的master节点
12.启动hbase
在master1上执行命令
第n次启动
1.对于HA,要先启动Zookeeper
zkServer.sh start (每个节点)
2.启动hadoop
start-dfs.sh start-yarn.sh (master1节点)
3.启动hbase
start-hbase.sh (master1节点)
后续待解决问题
希望大神能帮我指点一二。。。。
问题一:对于HA框架,hbase-site.xml如何根据当前active的master来配置?
问题二:服务全部停止后重启,hbase显示无法启动。不知为何。我只能全部清空格式化hadoop。
步骤:
1.删除hadoop/mydata下的所有文件夹 再新建yarn文件夹
2.删除hadoop/log文件夹下的所有文件
3.删除zookeeper/var/data下的除了myid的所有文件
4.删除Zookeeper/var/datalog下的所有文件夹
5.删除hbase下的file:文件
6.删除hbase下的logs下的所有文件
7.重新格式化hadoop
本文要用到的所有附件下载地址:
------------------------------------------分割线------------------------------------------
FTP地址:ftp://ftp1.linuxidc.com
用户名:ftp1.linuxidc.com
密码:
在 2015年LinuxIDC.com\8月\Hadoop2.6+HA+Zookeeper3.4.6+HBase1.0.0集群安装
------------------------------------------分割线------------------------------------------