国内最全最详细的Hadoop2.2.0集群的HA高可靠的最简(3)

以上配置完成后,就可以启动JournalNode进程了。在各个JournalNode机器上执行命令“Hadoop-daemon.sh journalnode”。

如果是一个新的HDFS集群,还要首先执行格式化命令“hdfs namenode -format”,紧接着启动本NameNode进程。

如果存在一个已经格式化过的NameNode,并且已经启动了。那么应该把该NameNode的数据同步到另一个没有格式化的NameNode。在未格式化过的NameNode上执行命令“hdfs namenode -bootstrapStandby”。

如果是把一个非HA集群转成HA集群,应该运行命令“hdfs –initializeSharedEdits”,这会初始化JournalNode中的数据。

做了这些事情后,就可以启动两个NameNode了。启动成功后,通过web页面观察两个NameNode的状态,都是standby。

下面执行命令“hdfs haadmin -failover --forcefence serviceId serviceId2”。就会把NameNode的状态进行安全的切换。其中后面一个会变为active状态。这时候再通过web页面观察就能看到正确结果了。

管理员命令

执行命令“hdfs haadmin”,会显示子命令列表,如下

Usage: DFSHAAdmin [-ns <nameserviceId>] [-transitionToActive <serviceId>] [-transitionToStandby <serviceId>] [-failover [--forcefence] [--forceactive] <serviceId> <serviceId>] [-getServiceState <serviceId>] [-checkHealth <serviceId>] [-help <command>] 如果要查看具体用法,使用“hdfs haadmin -help <command>”。其中, transitionToActivetransitionToStandby是用于在不同状态之间切换的。这些命令没有任何防护错误,很少使用。 failover 初始化一个故障恢复。该命令会从一个失效的NameNode切换到另一个上面。 getServiceState 获取当前NameNode的状态。 checkHealth 检查NameNode的状态。正常就返回0,否则返回非0值。  

以下是我的详细安装过程描述:

1.确定集群结构

我这里采用 5台虚拟机,内存是512MB,硬盘是20GB,以下是我对这5台机器的角色分配。

ip地址   主机名   NameNode   JournalNode   DataNode  
192.168.80.100   hadoop100        
192.168.80.101   hadoop101        
192.168.80.102   hadoop102        
192.168.80.103   hadoop103        
192.168.80.104   hadoop104        

2.设置linux、安装jdk

首先在VMWare中安装一台虚拟机,设置ssh免密码登录、设置静态ip为192.168.80.100、设置主机名为hadoop100、编辑/etc/hosts文件、安装jdk等,这些内容参考作者前面的文章。不再累述。

然后修改hadoop的配置文件,下面重点描述。

2.1 编辑文件$HADOOP_HOME/etc/hadoop/hadoop-env.sh,修改一行内容如下

export JAVA_HOME=/usr/local/jdk

把这里的JAVA_HOME前面的#去掉,把值改为自己安装的jdk路径;

2.2 编辑文件$HADOOP_HOME/etc/hadoop/core-site.xml,修改内容如下所示

<configuration>

<property>

<name>hadoop.tmp.dir</name>

<value>/usr/local/hadoop/tmp</value>

</property>

<property>

<name>fs.default.name</name>

<value>hdfs://hadoop100:9000</value>

</property>

</configuration>

以上配置中,name是hadoop.tmp.dir的值表示hadoop存放数据的目录,即包括NameNode的数据,也包括DataNode的数据。该路径任意指定,只要实际存在该文件夹即可。

name是fs.defaultFS的值表示hdfs路径的逻辑名称。因为我们会启动2个NameNode,每个NameNode的位置不一样,那么切换后,用户也要修改代码,很麻烦,因此使用一个逻辑路径,用户就可以不必担心NameNode切换带来的路径不一致问题了。

2.3 编辑文件$HADOOP_HOME/etc/hadoop/hdfs-site.xml,修改内容如下所示
<configuration>

<property>

<name>dfs.replication</name>

<value>2</value>

</property>

<property>

<name>dfs.nameservices</name>

<value>cluster1</value>

</property>

<property>

<name>dfs.ha.namenodes.cluster1</name>

<value>hadoop100,hadoop101</value>

</property>

<property>

<name>dfs.namenode.rpc-address.cluster1.hadoop100</name>

<value>hadoop100:9000</value>

</property>

<property>

<name>dfs.namenode.rpc-address.cluster1.hadoop101</name>

<value>hadoop101:9000</value>

</property>

<property>

<name>dfs.namenode.http-address.cluster1.hadoop100</name>

<value>hadoop100:50070</value>

</property>

<property>

<name>dfs.namenode.http-address.cluster1.hadoop101</name>

<value>hadoop101:50070</value>

</property>

<property>

<name>dfs.namenode.shared.edits.dir</name>

<value>qjournal://hadoop100:8485;hadoop101:8485;hadoop102:84

85/cluster1</value>

</property>

<property>

<name>dfs.client.failover.proxy.provider.cluster1</name>

<value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredF

ailoverProxyProvider</value>

</property>

<property>

<name>dfs.ha.fencing.methods</name>

<value>sshfence</value>

</property>

<property>

<name>dfs.ha.fencing.ssh.private-key-files</name>

<value>/root/.ssh/id_rsa</value>

</property>

<property>

<name>dfs.journalnode.edits.dir</name>

<value>/usr/local/hadoop/tmp/journal</value>

</property>

</configuration>

以上配置信息在前面的描述中已经做了解释。

2.4 编辑文件$HADOOP_HOME/etc/hadoop/slaves,修改内容如下所示

hadoop102

hadoop103

hadoop104

表示以上三个节点作为DataNode节点。

3.使用虚拟机再复制出4个虚拟机。把ip和主机名修改一下,同时修改/etc/hosts文件。在这里要确保5个节点之间互相都可以使用ssh免密码登录。

4.执行命令启动集群

以下命令严格注意执行顺序,不能颠倒!

4.1 启动JournalNode集群

在hadoop100、hadoop101、hadoop102上,执行命令 hadoop-daemon.sh start journalnode

4.2 格式化一个NameNode

在hadoop100执行命令 hdfs namenode –format

4.3 启动一个NameNode

在hadoop100执行命令 hadoop-daemon.sh start namenode

4.4 格式化另一个NameNode

在hadoop101执行命令 hdfs namenode -bootstrapStandby

4.5 启动另一个NameNode

在hadoop101执行命令 hadoop-daemon.sh start namenode

这时候,使用浏览器访问 :50070 和 :50070 。如果能够看到两个页面,证明NameNode启动成功了。这时,两个NameNode的状态都是standby。

4.6 转换active

在hadoop100执行命令 hdfs haadmin -transitionToActive hadoop100

再使用浏览器访问 :50070 和 :50070,会发现hadoop100节点变为active,hadoop101还是standby。

4.7 启动DataNodes

在hadoop100执行命令 hadoop-daemons.sh start datanode 会启动3个DataNode节点。

这时候HA集群就启动了。

你如果想实验一下NameNode切换,执行命令 hdfs haadmin –failover –forceactive hadoop100 hadoop101

这时候观察hadoop100和hadoop101的状态,就会发现,已经改变了。

如果向上传数据,还需要修改core-site.xml中的fs.default.name的值,改为hdfs://hadoop101:9000 才行。

如果有的同学配置失败,可以使用我的一键运行脚本,hadoop目录是/usr/local/hadoop,一键脚本放在该目录即可。使用root用户登录运行。下载地址是

免费下载地址在

用户名与密码都是

具体下载目录在 /2014年资料/1月/25日/国内最全最详细的Hadoop2.2.0集群的HA高可靠的最简单配置

下载方法见

关于hadoop2的其他配置文章,欢迎持续关注。

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:http://www.heiqu.com/75f463f9be53e20a58db0ba6228091c9.html