使用eclipse开发Hadoop而不是使用记事本+命令行是一种进步吧,那么为了这种进步,首先我们需要配置eclipse
之前我试过在windows下运行eclipse连接虚拟机中的hadoop,后来觉得速度简直不能忍,而且软件反应也慢,所以我推荐在虚拟机中使用eclipse。
好在使用eclipse配置hadoop开发环境,在Ubuntu和windows下完全一样,所以以下部分有共同之处。
eclipse-hadoop插件下载地址
下载推荐自己去官网下载,而不是用Ubuntu的软件市场,一是因为软件市场里的eclipse版本较低,二是因为软件市场里安装的eclipse不好找到安装位置,不便于找到plugins文件夹拷贝hadoop的插件。
下载好后,解压,把文件夹放到合适的地方(你喜欢的地方),然后将下载的eclipse-hadoop-plugins插件粘贴到eclipse的plugins目录下,启动eclipse。
1. window->Preference->左侧Hadoop Map/Reduce->右侧browse ,选择Hadoop的安装目录
2. 然后在eclipse的window选项卡下找到show view->other->选择Map/Reduce Tool下的Map/Reduce Location即可
3. 同时,最好将Project Explorer 的View也选中,这时,在Project Explorer中可以看到一个DFS Location的文件夹,Hadoop的HDFS文件系统的文件都会显示在这里,之后我们开发就不用使用命令行向HDFS中拷贝文件了,直接在这里拷贝就行。
3. 连接Hadoop
首先保证Hadoop已经正常运行起来。
在Map/Reduce Location的view中右键new hadoop location,在弹出窗口中配置如下信息
应当注意,这些信息与我们曾经在“Ubuntu虚拟机下配置Hadoop开发环境(1)”中第5步配置core-site.xml的配置是一致的
配置好后,新建工程选项Map/Reduce project就可以建立hadoop的工程了
这里有一点:我们工程里没有hadoop的library怎么办?
我的笨办法是从hadoop的安装目录的share/hadoop下将常见的library的jar包拷贝出来一份,组成一个library导入到hadoop工程的Build Path中.常见的jar包分别是common、hdfs、yarn、mapreduce目录下的jar以及下一层目录lib中的jar包。更好的办法是使用Ant和Maven构建工程。
参考:搭建Hadoop2.6.0+Eclipse开发调试环境