2.Hadoop组件之二：什么是MapReduce编程模型， MapReduce的工作流程是什么?
MapReduce是一种编程模型，用于大规模数据集(大于1TB)的并行运算。MapReduce的设计目标是方便编程人员在不熟悉分布式并行编程的情况下,将自己的程序运行在分布式系统上。
MapReduce的命名规则由两个术语组成，分别是Map(映射)与Reduce(化简)。这些术语来自于列表处理语言，如：LISP，Scheme，或ML。从概念上来讲，MapReduce将输入元素列表(Input List)转换成输出元素列表(Output List)，按照Map与Reduce规则各一次。
从MapReduce框架的实现角度看，MapReduce程序有着两个组件：一个实现了 Mapper，另一个实现了Reducer。
第一次叫Mapping，如图2所示。MapReduce将Input List作为Mapping函数的输入参数，经过处理，把结果返回给Output List。举例来说，有一个函数toUpper(str)，用来返回输入字符串的大写版本。那么这里的Input List指的是转换前的常规字符串列表，Mapping Function指的是toUpper函数，而Output List指的是转换后的大写字符串列表。值得注意的是，在这里Mapping并没有改变输入字符串列表，而是返回一个新的字符串列表。
图2 Map函数处理
第二次叫Reducing，如图3所示。MapReduce将Input List作为Reducing函数的输入参数，经过迭代处理，把这些数据汇集，返回一个输出值给Output Value。从这个意义上来说，Reducing一般用来生成”总结“数据，把大规模的数据转变成更小的总结数据。例如，"+"可以用来作一个reducing函数，去返回输入数据列表的值的总和。
图3 Reduce函数处理
从工作流程来讲，MapReduce对应的作业Job首先把输入的数据集切分为若干独立的数据块，并由Map组件以Task的方式并行处理。处理结果经过排序后，依次输入给Reduce组件，并且以Task的形式并行处理。MapReduce对应的输入输出数据由HDFS的DataNode存储。MapReduce对应的Job部署在Master服务器，由Master JobTracker负责Task的调度，监控，重新执行失败的任务等等。MapReduce对应的Job部署在若干不同的Slave服务器，每个集群节点含一个slave TaskTracker，负责执行由master指派的任务。
Hadoop框架由Java实现的，它提供了两种主要工具。Hadoop Streaming是一种运行作业的实用工具，它允许用户创建和运行任何可执行程序(例如：Shell工具)来做为mapper和reducer。Hadoop Pipes是一个与SWIG兼容的C++ API (没有基于JNITM技术)，它也可用于实现Map/Reduce应用程序。这样，开发人员就可以利用MapReduce框架，开发分布式应用程序，运行在由上千个商用机器组成的大型集群上，并以一种可靠容错的方式并行处理上T级别的数据集。
