Hadoop 任务失败超过重试次数的处理方法

Hadoop任务分为map task和reduce task,当map task执行失败后会重试,超过重试次数(mapred.map.max.attempts指定,默认为4),整个job会失败,这是我们不想看到的。

解决办法:hadoop提供配置参数“mapred.max.map.failures.percent”解决这个问题。如果一个Job有200个map task,该参数设置为5的话,则单个job最多允许10个map task(200 x 5% =10)失败,这是我想要的。

把下面配置放到mapred-site.xml文件中,重启jobtracker(hadoop-daemon.sh stop/start jobtracker ),这下大家满足了吧^_^

<property> 
  <name>mapred.max.map.failures.percent</name> 
  <value>5</value> 
</property> 

PS:reduce task有类似配置mapred.max.reduce.failures.percent

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:http://www.heiqu.com/9d82dce7d50854167e86f829f1ddce7b.html