Hadoop作业提交多种方案具体流程详解(2)

方案三:采用eclipse的插件实现项目的提交

前提:在eclipse中成功地安装mapreduce插件。

不过需要提醒各位的是:Hadoop-0.20.203.0版本自带的插件不够完整,需要作出如下修改:

1、将HADOOP_HOME/lib目录下的 commons-configuration-1.6.jar , commons-httpclient-3.0.1.jar , commons-lang-2.4.jar , jackson-core-asl-1.0.1.jar 和 jackson-mapper-asl-1.0.1.jar 等5个包复制到hadoop-eclipse-plugin-0.20.203.0.jar的lib目录下。

2、然后,修改该包META-INF目录下的MANIFEST.MF,将classpath修改为以下内容:

Bundle-ClassPath: classes/,lib/hadoop-core.jar,lib/commons-cli-1.2.jar,lib/commons-httpclient-3.0.1.jar,lib/jackson-core-asl-1.0.1.jar,lib/jackson-mapper-asl-1.0.1.jar,lib/commons-configuration-1.6.jar,lib/commons-lang-2.4.jar  

(注:这样就完成了对hadoop-eclipse-plugin-0.20.203.0.jar的修改。如果还有其它的问题,比如Map/Reduce Locations下添加一个Location不能弹出添加对话框,这是eclipse版本的问题,我建议大家采用eclipse的版本是:eclipse-java-indigo-SR1-linux-gtk.tar.gz。)

提交过程:

1、不用手动将项目打成jar包,run on Hadoop就OK了。呵呵~

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:http://www.heiqu.com/7c3a5603183c81f92ff734cd06e9d3f1.html