Hadoop初体验：快速搭建Hadoop伪分布式环境(3)

fs.default.name这个字段下的值用于指定NameNode（HDFS的Master）的IP地址和端口号，如下面的value值hdfs://localhost:9000，就表示HDFS NameNode的IP地址或主机为localhost，端口号为9000.

配置hdfs-site.xml

<configuration>

    <property>

        <name>dfs.replication</name>

        <value>1</value>

    </property>

    <property>

        <name>dfs.name.dir</name>

        <value>/home/nuoline/hdfs-filesystem/name</value>

    </property>

    <property>

        <name>dfs.data.dir</name>

        <value>/home/nuoline/hdfs-filesystem/data</value>

    </property>

</configuration>

dfs.replication用于指定HDFS中每个Block块被复制的次数，起到数据冗余备份的作用；dfs.name.dir用于配置HDFS的NameNode的元数据，以逗号隔开，HDFS会把元数据冗余复制到这些目录下；dfs.data.dir用于配置HDFS的DataNode的数据目录，以逗号隔开，HDFS会把数据存在这些目录下。

配置mapred-site.xml

<configuration>

    <property>

        <name>mapred.job.tracker</name>

        <value>localhost:9001</value>

    </property>

</configuration>

mapred.job.tracker字段用于指定MapReduce Jobtracker的IP地址及端口号，如这里IP地址或主机为localhost，9001是MapReduce Jobtracker RPC的交互端口。

配置hadoop-env.sh

export JAVA_HOME=/usr/local/jdk

5.hadoop启动与测试

（1）格式化HDFS分布式文件系统

执行如下命令：

[root@leaf ~]# hadoop namenode -format

...

17/08/30 08:41:29 INFO namenode.NNStorageRetentionManager: Going to retain 1 images with txid >= 0

17/08/30 08:41:29 INFO util.ExitUtil: Exiting with status 0

17/08/30 08:41:29 INFO namenode.NameNode: SHUTDOWN_MSG: 

/************************************************************

SHUTDOWN_MSG: Shutting down NameNode at leaf/127.0.0.1

************************************************************/

注意看输出显示是不是跟上面的类似，如果是，则说明操作成功。

（2）启动hadoop服务

执行如下命令：

[root@leaf ~]# start-all.sh 

This script is Deprecated. Instead use start-dfs.sh and start-yarn.sh