Hadoop权威指南学习(四)

Hadoop权威指南学习(四)


Hadoop学习总结:Map-Reduce的过程解析:从代码级解析map-reduce的过程,包括client发出请求,jobtracker和tasktracker的启动、交互等以及child线程(map+reduce)的处理过程。

相关阅读:

Hadoop权威指南学习(七)——其他

Hadoop权威指南学习(六)——MapReduce的特性

Hadoop权威指南学习(五)——MapReduce的类型和格式

Hadoop权威指南学习(四)——MapReduce工作机制

Hadoop权威指南学习(三)——MapReduce应用开发

Hadoop权威指南学习(二)——HDFS & Hadoop IO

Hadoop权威指南学习(一)——关于Mapreduce

2. 失败:包括任务失败,tasktracker失败以及jobtracker失败(需查看源代码分析)

3. 调度器

默认的调度器是FIFO,不支持抢占,可以选择其他调度器:Fair or Capacity Scheduler

Fair Scheduler:让每个用户公平的共享集群能力,作业都会放到作业池中,默认每个用户都会有一个作业池,支持抢占。使用它需在类路径加入jar包,在contrib/fairscheduler目录下。

4. shuffle和排序

传说shuffle是MapReduce的心脏,是奇迹发生的地方。MapReduce:详解Shuffle过程对shuffle做了详细解释

5. 任务的执行

推测执行:当一个任务运行比预期慢的时候,hadoop会尽量检测并启动另一个相同的任务作为备份。比如硬件老化或软件配置错误将导致任务执行缓慢,推测任务可能先于原任务完成,但需要额外的开销,默认是开启的。

任务JVM重用:为每个任务启动一个新的JVM将耗时大约1秒,对大量超短任务(通常是map任务)的作业或初始化时间长的作业,若对后续任务重用JVM将提高性能。tasktracker可一次性在多个独立JVM内运行多个任务,每个JVM顺序运行各任务。

跳过坏记录:skipping mode

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:http://www.heiqu.com/ppfwj.html