Hadoop2集群搭建过程

在这里我选用4台机器进行示范,各台机器的职责如下表格所示

Hadoop2集群搭建过程

(说明:  1. ZooKeepe使用其它节点的 2. Hadoop0节点安装所有的master, ha的matster全部是worker, 以达到较高的资源利用率,又对master的负载不会过高)

Hadoop0 -> dchadoop206
Hadoop1 -> dchadoop207
Hadoop2 -> dchadoop208
Hadoop3 -> dchadoop209

1.  搭建自动HA
1.1. 复制编译后的hadoop项目到/usr/local目录下
1.2. 修改位于etc/hadoop目录下的配置文件

1.1.1. hadoop-env.sh
export Java_HOME=/usr/local/jdk

1.1.1. core-site.xml
<configuration>
<property>
  <name>fs.defaultFS</name>
  <value>hdfs://cluster1</value>
</property>

【这里的值指的是默认的HDFS路径。当有多个HDFS集群同时工作时,用户如果不写集群名称,那么默认使用哪个哪?在这里指定!该值来自于hdfs-site.xml中的配置。在节点hadoop0和hadoop1中使用cluster1,在节点hadoop2和hadoop3中使用cluster2】

<property>
  <name>hadoop.tmp.dir</name>
  <value>/data0/hadoop/tmp</value>
</property>

【这里的路径默认是NameNode、DataNode、JournalNode等存放数据的公共目录。用户也可以自己单独指定这三类节点的目录。】

<property>
 <name>ha.zookeeper.quorum</name>
 <value>hadoop0:2181,hadoop1:2181,hadoop2:2181</value>
</property>

【这里是ZooKeeper集群的地址和端口。注意,数量一定是奇数,且不少于三个节点】

</configuration>

1.1.1. hdfs-site.xml 
该文件只配置在hadoop0和hadoop1上。
<configuration>
    <property>
      <name>dfs.replication</name>
        <value>2</value>
    </property>

【指定DataNode存储block的副本数量。默认值是3个,我们现在有4个DataNode,该值不大于4即可。】

<property>
      <name>dfs.namenode.name.dir</name>
      <value>file:///data0/hadoop2/hdfs/name</value>
 </property>

【指定namenode元数据信息存储位置】

<property>
      <name>dfs.datanode.data.dir</name>      <value>file:///data0/hadoop2/hdfs/data,file:///data1/hadoop2/hdfs/data,file:///data2/hadoop2/hdfs/data,file:///data3/hadoop2/hdfs/data,file:///data4/hadoop2/hdfs/data,file:///data5/hadoop2/hdfs/data,file:///data6/hadoop2/hdfs/data,file:///data7/hadoop2/hdfs/data,file:///data8/hadoop2/hdfs/data,file:///data9/hadoop2/hdfs/data,file:///data10/hadoop2/hdfs/data</value>
</property>

【指定datanode元数据信息存储位置, 设置成所有的磁盘】

<property>
      <name>dfs.nameservices</name>
      <value>cluster1</value>
    </property>

【设置cluster1的namenode id。】

<property>
      <name>dfs.ha.namenodes.cluster1</name>
      <value>hadoop0,hadoop1</value>
    </property>

【指定NameService是cluster1时的namenode有哪些,这里的值也是逻辑名称,名字随便起,相互不重复即可】

<property>
      <name>dfs.namenode.rpc-address.cluster1.hadoop0</name>
      <value>hadoop0:9000</value>
    </property>

【指定hadoop0的RPC地址】


1234 <property>
      <name>dfs.namenode.http-address.cluster1.hadoop0</name>
      <value>hadoop0:50070</value>
    </property>

【指定hadoop0的http地址】


1234  <property>
      <name>dfs.namenode.rpc-address.cluster1.hadoop1</name>
        <value>hadoop1:9000</value>
    </property>

【指定hadoop1的RPC地址】

<property>
      <name>dfs.namenode.http-address.cluster1.hadoop1</name>
      <value>hadoop1:50070</value>
    </property>

【指定hadoop1的http地址】

<property>
      <name>dfs.namenode.shared.edits.dir</name>
 <value>qjournal://hadoop0:8485;hadoop1:8485;hadoop2:8485/cluster1</value>
    </property>

【指定cluster1的两个NameNode共享edits文件目录时,使用的JournalNode集群信息】

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:https://www.heiqu.com/b62bb325235a84e80f3ae244a8353496.html