CentOS搭建HA高可用Hadoop 2.7.6 集群(8)

Generic options supported are
-conf <configuration file>    specify an application configuration file
-D <property=value>            use value for given property
-fs <local|namenode:port>      specify a namenode
-jt <local|resourcemanager:port>    specify a ResourceManager
-files <comma separated list of files>    specify comma separated files to be copied to the map reduce cluster
-libjars <comma separated list of jars>    specify comma separated jar files to include in the classpath.
-archives <comma separated list of archives>    specify comma separated archives to be unarchived on the compute machines.

The general command line syntax is
bin/hadoop command [genericOptions] [commandOptions]

可以看到,状态操作的命令示例:

# 查看namenode工作状态 
hdfs haadmin -getServiceState nn1

# 将standby状态namenode切换到active
hdfs haadmin -transitionToActive nn1

# 将active状态namenode切换到standby
hdfs haadmin -transitionToStandby nn2

10.2. 测试集群工作状态的一些指令

测试集群工作状态的一些指令 :
hdfs dfsadmin -report    查看hdfs的各节点状态信息
hdfs haadmin -getServiceState nn1  # hdfs haadmin -getServiceState nn2      获取一个namenode节点的HA状态
hadoop-daemon.sh start namenode  单独启动一个namenode进程
hadoop-daemon.sh start zkfc  单独启动一个zkfc进程

10.3. Datanode动态上下线

Datanode动态上下线很简单,步骤如下:

  a)  准备一台服务器,设置好环境

  b)  部署hadoop的安装包,并同步集群配置

  c)  联网上线,新datanode会自动加入集群

  d)  如果是一次增加大批datanode,还应该做集群负载重均衡

10.4. 数据块的balance

启动balancer的命令:

start-balancer.sh -threshold 8

运行之后,会有Balancer进程出现:

CentOS搭建HA高可用Hadoop 2.7.6 集群

上述命令设置了Threshold为8%,那么执行balancer命令的时候,首先统计所有DataNode的磁盘利用率的均值,然后判断如果某一个DataNode的磁盘利用率超过这个均值Threshold,那么将会把这个DataNode的block转移到磁盘利用率低的DataNode,这对于新节点的加入来说十分有用。Threshold的值为1到100之间,不显示的进行参数设置的话,默认是10。

Hadoop2.3-HA高可用集群环境搭建  https://www.linuxidc.com/Linux/2017-03/142155.htm
Hadoop项目之基于CentOS7的Cloudera 5.10.1(CDH)的安装部署  https://www.linuxidc.com/Linux/2017-04/143095.htm
Hadoop2.7.2集群搭建详解(高可用)  https://www.linuxidc.com/Linux/2017-03/142052.htm
使用Ambari来部署Hadoop集群(搭建内网HDP源)  https://www.linuxidc.com/Linux/2017-03/142136.htm
Ubuntu 14.04下Hadoop集群安装  https://www.linuxidc.com/Linux/2017-02/140783.htm
CentOS 6.7安装Hadoop 2.7.2  https://www.linuxidc.com/Linux/2017-08/146232.htm
Ubuntu 16.04上构建分布式Hadoop-2.7.3集群  https://www.linuxidc.com/Linux/2017-07/145503.htm
CentOS 7 下 Hadoop 2.6.4 分布式集群环境搭建  https://www.linuxidc.com/Linux/2017-06/144932.htm
Hadoop2.7.3+Spark2.1.0完全分布式集群搭建过程  https://www.linuxidc.com/Linux/2017-06/144926.htm
CentOS 7.4下编译安装Hadoop 2.7.6 及所需文件  https://www.linuxidc.com/Linux/2018-06/152786.htm
Ubuntu 16.04.3 下安装配置 Hadoop https://www.linuxidc.com/Linux/2018-04/151993.htm

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:https://www.heiqu.com/028c0c86d8f9b5be9a5c02d3abb572f9.html