Ubuntu 14.04下Hadoop 2.7.2安装配置详述(2)

使用eclipse开发Hadoop而不是使用记事本+命令行是一种进步吧,那么为了这种进步,首先我们需要配置eclipse

之前我试过在windows下运行eclipse连接虚拟机中的hadoop,后来觉得速度简直不能忍,而且软件反应也慢,所以我推荐在虚拟机中使用eclipse。
好在使用eclipse配置hadoop开发环境,在Ubuntu和windows下完全一样,所以以下部分有共同之处。

1. 下载eclipse 和Hadoop插件

eclipse下载地址

eclipse-hadoop插件下载地址
下载推荐自己去官网下载,而不是用Ubuntu的软件市场,一是因为软件市场里的eclipse版本较低,二是因为软件市场里安装的eclipse不好找到安装位置,不便于找到plugins文件夹拷贝hadoop的插件。

2. 配置eclipse

下载好后,解压,把文件夹放到合适的地方(你喜欢的地方),然后将下载的eclipse-hadoop-plugins插件粘贴到eclipse的plugins目录下,启动eclipse。
1. window->Preference->左侧Hadoop Map/Reduce->右侧browse ,选择Hadoop的安装目录

选择Hadoop安装目录


2. 然后在eclipse的window选项卡下找到show view->other->选择Map/Reduce Tool下的Map/Reduce Location即可
3. 同时,最好将Project Explorer 的View也选中,这时,在Project Explorer中可以看到一个DFS Location的文件夹,Hadoop的HDFS文件系统的文件都会显示在这里,之后我们开发就不用使用命令行向HDFS中拷贝文件了,直接在这里拷贝就行。

show View显示两个选项卡

3. 连接Hadoop

首先保证Hadoop已经正常运行起来。
在Map/Reduce Location的view中右键new hadoop location,在弹出窗口中配置如下信息

eclipse下hadoop的配置


应当注意,这些信息与我们曾经在“Ubuntu虚拟机下配置Hadoop开发环境(1)”中第5步配置core-site.xml的配置是一致的

配置好后,新建工程选项Map/Reduce project就可以建立hadoop的工程了

这里有一点:我们工程里没有hadoop的library怎么办?

我的笨办法是从hadoop的安装目录的share/hadoop下将常见的library的jar包拷贝出来一份,组成一个library导入到hadoop工程的Build Path中.常见的jar包分别是common、hdfs、yarn、mapreduce目录下的jar以及下一层目录lib中的jar包。更好的办法是使用Ant和Maven构建工程。

参考:搭建Hadoop2.6.0+Eclipse开发调试环境

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:https://www.heiqu.com/69e73e768e30f10609dedd17a14638a0.html