Hadoop分布式集群的搭建的方法步骤(3)

日期：2020-05-12 栏目：破解天下 浏览：次

6.3 hdfs-site.xml文件

Hadoop的分布式文件系统HDFS一般采用冗余存储，一份文件通常保存3份副本，所以dfs.replication的值还是设置为3。
具体内容如下：

<configuration>
    <property>
        <!-- 指定SecondaryNamenode所在地址 -->
        <name>dfs.namenode.secondary.http-address</name>
        <value>Master:50090</value>
    </property>
    <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/usr/local/bigdata/hadoop-2.7.1/tmp/dfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/usr/local/bigdata/hadoop-2.7.1/tmp/dfs/data</value>
    </property>
</configuration>

6.4 mapred-site.xml 文件

修改内容如下：

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
    <property>
        <name>mapreduce.jobhistory.address</name>
        <value>Master:10020</value>
    </property>
    <property>
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>Master:19888</value>
    </property>
</configuration>

6.5 yarn-site.xml文件

内容如下：

<configuration>
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>Master</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
</configuration>

6.6 hadoop-env.sh 文件

修改如下内容：

export JAVA_HOME=/usr/local/bigdata/java/jdk1.8.0_211

# 可以不用
export HADOOP_HOME=/usr/local/hadoop-2.7.1

7 设置hadoop环境变量

每个节点都要设置

在~/.bashrc文件中添加如下内容，并$ source ~/.bashrc使其生效

export PATH=$PATH:/usr/local/bigdata/hadoop-2.7.1/bin:/usr/local/bigdata/hadoop-2.7.1/sbin

8 slave节点配置

slave节点只需将master节点上/usr/local/下的bigdata文件夹和~/.bashrc文件，放到slave节点即可

注意切换到对应机器执行$ source ~/.bashrc使环境变量生效。