搭建Eclipse下运行Mapreduce代码的环境

准备:基本的Hadoop环境搭建好,并启动hadoop。

Hadoop集群环境: 10.20.153.125  h5  master

10.20.153.126  h6  slave

10.20.153.127  h7  slave

版本:hadoop-1.0.0;

eclipse-SDK-3.7.2-linux-gtk

系统:VMWare下的Ubuntu

第一步:由于hadoop-1.0.0源码中没有自带eclipse的插件,所幸,师傅帮我编译生成了org.apache.hadoop.eclipse_1.0.0.jar。把这个插件拷到 eclipse安装目录/plugins/ 下。

第二步:重启eclipse,配置hadoop installation directory。

若插件安装成功的话,打开Window-->Preferens,会发现Hadoop Map/Reduce选项,在这个选项里需要配置Hadoop installation directory。配置完成后退出。

搭建Eclipse下运行Mapreduce代码的环境

这里需要注意的是:根据你即将要跑的代码是在当前这个hadoop版本的目录下。

第三步:配置Map/Reduce Locations。

在Window-->Show View中打开Map/Reduce Locations。Eclipse窗口下会有如下显示。

搭建Eclipse下运行Mapreduce代码的环境

在这个View中,右键-->New Hadoop Location。弹出如下对话框:

搭建Eclipse下运行Mapreduce代码的环境

需要配置Location name,还有Map/Reduce Master和DFS Master。这里面的Host、Port分别为你在mapred-site.xml、core-site.xml中配置的地址及端口。

这个对话框下面的这个

搭建Eclipse下运行Mapreduce代码的环境

可以不管。

配置完了,会在eclipse窗口看到

搭建Eclipse下运行Mapreduce代码的环境

这里我是建了两个DFS Locations,hadoop连接的192.168.71.128就是没有配置好,下面的hadoop-1.0.0就是配置好了。

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:http://www.heiqu.com/7b2ffa093cdbe3922c9156f89b4b00ba.html