eclipse中Hadoop开发
安装hadoop插件。hadoop插件可以从网上下载,也可以自己编译,我用的是1.0.2,编译后再hadoop-1.0.2\build\contrib\eclipse-plugin可以找到
安装完hadoop的eclipse插件之后,需要配置hadoop的安装地址。如下图。
打开map/reduce视图
新建一个hadoop连接配置
Map/Reduce Master的配置就是conf/mapred-site.xml里面的配置
DFS Master的配置是core-site.xml 里面的配置端口,
user name最好填写linux环境的用户名,可以不是hadoop(有的人搭建教程里强调一定将用户名填写为hadoop,主要是为了方便)
这个配置好之后,要配置一下高级参数里面的配置项,否则可能会链接错误,如下图:
大部分配置都可以默认,主要是有些目录路径要和自己的linux上的路径一致,否则会报错
上面都配置好之后,可以打开peoject explore视图,连接hadoop服务器,就可以了
如图:
下面是一个利用eclipse运行hadoop wordcount的例子