Ubuntu 11.04 下Hadoop学习笔记(3)

eclipse中Hadoop开发

安装hadoop插件。hadoop插件可以从网上下载,也可以自己编译,我用的是1.0.2,编译后再hadoop-1.0.2\build\contrib\eclipse-plugin可以找到

安装完hadoop的eclipse插件之后,需要配置hadoop的安装地址。如下图。

Ubuntu 11.04 下Hadoop学习笔记

打开map/reduce视图

Ubuntu 11.04 下Hadoop学习笔记

新建一个hadoop连接配置

Ubuntu 11.04 下Hadoop学习笔记

Map/Reduce Master的配置就是conf/mapred-site.xml里面的配置

DFS Master的配置是core-site.xml  里面的配置端口,

user name最好填写linux环境的用户名,可以不是hadoop(有的人搭建教程里强调一定将用户名填写为hadoop,主要是为了方便)

这个配置好之后,要配置一下高级参数里面的配置项,否则可能会链接错误,如下图:

Ubuntu 11.04 下Hadoop学习笔记

大部分配置都可以默认,主要是有些目录路径要和自己的linux上的路径一致,否则会报错 

上面都配置好之后,可以打开peoject explore视图,连接hadoop服务器,就可以了

如图:

Ubuntu 11.04 下Hadoop学习笔记

下面是一个利用eclipse运行hadoop wordcount的例子

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:http://www.heiqu.com/d095a5e29a321ca29517cab13a4d0f12.html