Hadoop2.7.2集群搭建详解（单机）(2)

mv mapred-site.xml.template mapred-site.xml

<configuration> <!-- 通知框架MR使用YARN --> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration>

2、配置etc/hadoop/yarn-site.xml:

<configuration> <!-- reducer取数据的方式是mapreduce_shuffle --> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> </configuration>

3、YARN的启动与停止

启动

./sbin/start-yarn.sh

如下：

测试用浏览器访问：（如果没响应，则开发8088端口）

停止

sbin/stop-yarn.sh

现在我们的hdfs和yarn都运行成功了，我们开始运行一个WordCount的MP程序来测试我们的单机模式集群是否可以正常工作。

运行一个简单的MP程序

我们的MapperReduce将会跑在YARN上，结果将存在HDFS上：

./bin/hadoop jar /opt/soft/hadoop-2.7.2/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount hdfs://localhost:9000/words.txt hdfs://localhost:9000/out

用hadoop执行一个叫 hadoop-mapreduce-examples.jar 的 wordcount 方法，其中输入参数为 hdfs上根目录的words.txt 文件，而输出路径为 hdfs跟目录下的out目录，运行过程如下：

我们通过浏览器访问和下载查看结果：

这里下载的时候会跳转到另一个地址如下：

http://singlenode:50075/webhdfs/v1/out/part-r-00000?op=OPEN&namenoderpcaddress=localhost:9000&offset=0

1、需把singlenode换成192.168.2.100或是在hosts里加入 192.168.2.100 singlenode 隐射关系

2、需开放50075端口。

下载下来结果如下：

Bye 1 Hadoop 2 Hello 4 Jack 1 Tom 1 World 1

说明我们已经计算出了，单词出现的次数。

至此，我们Hadoop的单机模式搭建成功。

下面关于Hadoop的文章您也可能喜欢，不妨看看：

Ubuntu14.04下Hadoop2.4.1单机/伪分布式安装配置教程 

CentOS 6.3下Hadoop伪分布式平台搭建 

Ubuntu 14.04 LTS下安装Hadoop 1.2.1（伪分布模式）

Ubuntu上搭建Hadoop环境（单机模式+伪分布模式）

实战CentOS系统部署Hadoop集群服务

Hadoop 2.6.0 HA高可用集群配置详解 

Spark 1.5、Hadoop 2.7 集群环境搭建 

在Ubuntu X64上编译安装Hadoop

CentOS 6.7安装Hadoop 2.7.3 

CentOS7+Hadoop2.5.2+Spark1.5.2环境搭建