Hadoop的TaskTracker黑名单机制

Note:这里描述的黑名单是指jobtracker网页summary表格中显示的”Blacklisted Nodes",称之为集群黑名单.

Hadoop-4305之前,Hadoop中每个job会维护一个TaskTracker黑名单,这里称之为job黑名单。简单来讲就是当一个job中有4个task曾经在某个tasktracker上失败过,则该job就将这个tasktracker加入自己的job黑名单,即该job的其他task不再调度到这个tasktracker上。HADOOP-4305中认为所有的job黑名单应该汇总一起,让jobtracker从全局的角度排除那些导致大量task失败的TaskTracker。因为如果很多job将某一个tasktracker加入了job黑名单,很可能这个tasktracker确实有问题,不应该再让他跑task了。

从以往运维Hadoop集群经验来看,确实存在这样的tasktracker导致了大量task失败从而拖慢整个业务线。而调查该tasktracker后发现其自身确实有问题,如userlogs的子目录达到上限、根盘空间满了等。而我们的解决方案通常是根据实际案例增加对应监控来逐个解决。比如监控userlogs子目录数达到阈值后即清理最老的目录。再比如监控根盘空间,如果达到了阈值就停掉tasktracker进程,并报警给管理员等。而HADOOP-4305希望Hadoop自身智能地发现类似问题并自己解决。智能解决当然能减轻运维人员的负担,但也引入了很多问题。比如判断错误,将不该黑掉的tasktracker黑了等。而且一旦一个tasktracker被黑了,运维人员需要调查被黑原因,也要想办法去恢复。有时候这个负担比外围监控更大。但是对于运维一个已经启用集群黑名单机制的集群来说,只能先去熟悉这个机制,再去优化并监控。下面描述下HADOO-4305给出的机制。

Part 1/2:Tasktracker加入集群黑名单机制:

当一个job成功结束时,对该job黑名单中的tasktracker做如下三个判断:

/**

* 强调下这里值的是成功的job,因为失败job的task失败大多是因为自身有bug导致的,不能冤枉tasktracker。

* 而事实上成功job中失败的task也可能是job自身问题导致的,所以我不认可这个机制。

**/

1、这个tasktracker已经被至少4个job加入了黑名单;

/**

* 这里的4个是可配置的,配置参数为:

mapred.max.tracker.blacklists

**/

2、到目前为止该tasktracker被加入job黑名单的次数,超过了集群中所有tasktracker被加入job黑名单平均次数的50%;

/**

* 这里的50%也是可配置的,配置参数为:

mapred.cluster.average.blacklist.threshold

**/

3、已经加入黑名单的tasktracker个数不超过集群总tasktracker的50%;

/**

* 这条限制是不能有超过一半的tasktracker被放入黑名单,目的是防止因太多tasktracker放入黑名单而严重影响集群工作。

* 这里的50%是不可配置的。

**/

以上三条如果均满足,则将job黑名单中的tasktracker加入集群黑名单,以后将不在该tasktracker上调度任何task。

Part 2/2: 已加入集群黑名单的tasktracker的恢复机制:

Jobtracker收到集群黑名单中的tasktracker发来的心跳时,做如下判断:

/**

* 加入集群黑名单的tasktracker仍然照常发送心跳。

**/

1、如果该tasktracker已经重启,则直接从集群黑名单中取出,并完全恢复正常;

/**

* 这是最常用的恢复方法。

**/

2、如果该tasktracker在24小时内未被加入过job黑名单,则其加入job黑名单的计数减1,并允许调度task。

/**

* 这里的24小时是不可配置的;

* 由于tasktracker加入集群黑名单后不能调度task,也就没有机会加入job黑名单了,因此几乎所有集群黑名单中tasktracker都会在24小时之后开始调度,然后被一个job加入job黑名单后又不能调度了。

* 如此反复,因此这条其实没啥用,常用的恢复方法还是重启tasktracker。

**/

以上描述了HADOOP-4305给出的黑名单机制,个人感觉问题很多,最好不要启用。如果已经启用的话,最好把可配置的两个参数设大些。

更多Hadoop相关信息见Hadoop 专题页面 ?tid=13

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:http://www.heiqu.com/7ed23a3669a34abb899472c3a671aa22.html