试用Hadoop JVM复用配置

output:  25G

优化前:1464 s

优化后:1375 s

Job运行时间减少 6%

CPU使用率情况:

*注意: mapred.job.reuse.jvm.num.tasks这个参数是客户端参数,修改不需要重启tasktracker,可以在提交job的shell或者代码中设置。

试用Hadoop JVM复用配置

linux

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:http://www.heiqu.com/pswfj.html