Ubuntu下Eclipse调试Hadoop的WordCount示例

1.先去Hadoop官网下载hadoop的源码

2.下载maven3,当前hadoop的最新版必须使用maven3编译

3.到hadoop下载源码目录执行mvn clean install;mvn eclipse:eclipse;

4.将源码导入eclipse;

5.在eclipse设置执行的WordCount.java的jvm启动参数,最少需要两个,输入目录和输出目录

Ubuntu下Eclipse调试Hadoop的WordCount示例

6.然后就可以设置断点进行调试了,我们在处理mapreduce的主干流程上设置断点

org.apache.hadoop.mapred.LocalJobRunner这个类的run方法上

我们看到在我们设置的输入输出目录,然后使用默认的hadoop单机配置下,mapTask有16个,reduceTask有1个

Ubuntu下Eclipse调试Hadoop的WordCount示例

Ubuntu下Eclipse调试Hadoop的WordCount示例

我们先看看我们的输入目录,刚好是16个文件,说明每个输入文件默认启动一个mapTask

Ubuntu下Eclipse调试Hadoop的WordCount示例

Ubuntu下Eclipse调试Hadoop的WordCount示例

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:http://www.heiqu.com/d4a3790fdef65562f7cef881347b5efa.html