入门Hadoop的WordCount程序

本篇文章主要说两部分:简单介绍MapReduce的工作原理;详细解释WordCount程序。

1. MapReduce的工作原理

在《Hadoop in action》一书中,对MapReduce计算模型有了很好的描述,在这里我们直接引用过来:“

在 Hadoop 中,用于执行 MapReduce 任务的机器角色有两个:一个是 JobTracker;另一个是 TaskTracker, JobTracker是用于调度工作的, TaskTracker是用于执行工作的。一个 Hadoop集群中只有一台 JobTracker。

在分布式计算中, MapReduce 框架负责处理了并行编程中分布式存储、工作调度、负载均衡、容错均衡、容错处理以及网络通信等复杂问题,把处理过程高度抽象为两个函数:map 和 reduce,map 负责把任务分解成多个任务, reduce 负责把分解后多任务处理的结果汇总起来。

在 Hadoop 中,每个 MapReduce 任务都被初始化为一个 Job,每个 Job 又可以分为两种阶段: map 阶段和 reduce 阶段。这两个阶段分别用两个函数表示,即 map 函数和 reduce 函数。 map 函数接收一个<key,value>形式的输入,然后同样产生一个<key,value>形式的中间输出, Hadoop 函数接收一个如<key,(list ofvalues)>形式的输入,然后对这个 value 集合进行处理,每个 reduce 产生 0 或 1 个输出,reduce 的输出也是<key,value>形式的。”

从上面的解释我们可以看出:MapReduce把对大规模数据集的操作,分发给一个主节点(master)管理下的各个分节点(slaves)共同完成,然后通过整合各个节点的中间结果,得到最终结果。用 MapReduce 来处理的数据集(或任务)必须具备这样的特点:待处理的数据集可以分解成许多小的数据集,而且每一个小数据集都可以完全并行地进行处理。整个过程都是按照<key, value>的形式来输入输出。

下图很好的描述了MapReduce的工作过程:

入门Hadoop的WordCount程序

下面我们结合一个简单的实例来说明MapReduce的内部运行流程,首先给出一个WordCount的数据流程图:

入门Hadoop的WordCount程序

Step1:输入文件file1和file2先按照TextInputFormat形式被处理成两个InputSplit,然后输入到两个map中。此时map的输入格式为<key, value>的,需要指出的是此时的key为当前的行号(位移量),value为对应行的内容;

Step 2:Map对每行的内容进行切词,每切下一个词就将其组织成<word, 1>的形式输出,注意每个word的value均为1;

Step 3:把map的输出进入Reduce阶段,TaskTracker会接收到<word, {1,1,1,…}>形式的数据,reduce会进行统计频数,组织成<word, sum>的形式直接输出。

在以上过程初始的输入文件和最终输出结果都是放在HDFS上的,但是中间的map程序只是写到本地磁盘中,而不是写到HDFS中。这是因为Map的输出在Jpb完成后即可删除了,因此不需要存储到HDFS上。虽然存储到HDFS上会比较安全,但是因为网络传输会降低MapReduce任务的执行效率,因此Map的输出文件时写在本地磁盘的。如果Map程序在没来得及将数据传送给Reduce时就崩毁了,那么JobTracker只需要另选一台机器重新执行这个Task就可以了(JobTracker是要有这个功能的,JobTracker调度任务给TaskTracker,TaskTracker执行任务的时候,会返还进行报告,JobTracker则会记录进度的进行状况,如果某个TaskTracker上的任务执行失败了,那么JobTracker会把这个任务分配给另一个TaskTracker,直到任务执行完成)。

2. 详解WordCount程序

WordCount程序是学习Hadoop的入门程序,我们有必要详解一下。能够完整的运行WordCount程序需要如下结果步骤:本地的文本文件上传到HDFS上,WordCount程序实现MapReduce过程,输出结果到HDFS上。

Step 1:进入CentOS系统(上篇博文已经介绍过在centos6.0上搭建hadoop框架),在本地新建一个file文件夹。在file文件夹中,新建两个文本文件file1和file2. file1的内容为Hello World,file2的内容为Hello Hadoop。

Step 2:在HDFS上创建输入文件夹,并把本地的file中文件上传到集群的input目录上;

Step 3:在集群上运行WordCount程序,以input为输入目录,以output为输出目录;

以上过程可以再centos的终端完成:

mkdir ~/file  在本地创建file文件夹
cd file

echo "Hello World" > file1.txt  在file1和file2文件中存放文本,
echo "Hello Hadoop" > file2.txt  echo命令的作用是输出内容,> file1/2就是输出到文件中

hadoop fs -mkdir input  在HDFS上创建输入目录文件夹

hadoop fs -put ~file/file*.txt input  上传本地file文件夹中的文件到HDFS上

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:https://www.heiqu.com/18144f6b2c477466d0b3bf6f1cc73cfd.html