Ubuntu下Eclipse开发Hadoop应用程序环境配置(2)

第四步:添加一个MapReduce环境

插件装完了,启动Hadoop,然后就可以建一个hadoop连接了,就相当于eclipse里配置一个 weblogic的连接。

如图所示,打开Map/Reduce Locations 视图,在右上角有个大象的标志点击

Ubuntu下Eclipse开发Hadoop应用程序环境配置

在eclipse下端,控制台旁边会多一个Tab,叫“Map/Reduce Locations”,在下面空白的地方点右键,选择“New Hadoop location...”,如图所示:

Ubuntu下Eclipse开发Hadoop应用程序环境配置

location name: 这个随便填写,我填写的是:hadoop.

Map/Reduce Master 这个框里

Host:就是jobtracker 所在的集群机器,这里写localhost

Hort:就是jobtracker 的port,这里写的是9101

这两个参数就是mapred-site.xml里面mapred.job.tracker里面的ip和port

DFS Master 这个框里

Host:就是namenode所在的集群机器,这里写localhost

Port:就是namenode的port,这里写9100

这两个参数就是core-site.xml里面fs.default.name里面的ip和port

(Use M/R master host,这个复选框如果选上,就默认和Map/Reduce Master这个框里的host一样,如果不选择,就可以自己定义输入,这里jobtracker 和namenode在一个机器上,所

以是一样的,就勾选上)

user name:这个是连接hadoop的用户名,因为我是用sony用户安装的hadoop,而且没建立其他的用户,所以就用sony。

下面的不用填写。

然后点击finish按钮,此时,这个视图中就有多了一条记录。

重启eclipse并重新编辑刚才建立的那个连接记录,如图现在我们编辑advance parameters tab页

(重启编辑advance parameters tab页原因:在新建连接的时候,这个advance paramters  tab页面的一些属性会显示不出来,显示不出来也就没法设置,所以必须重启一下eclipse再进来编辑才能看到)

这里大部分的属性都已经自动填写上了,其实就是把core-defaulte.xml、hdfs-defaulte.xml、mapred-defaulte.xml里面的一些配置属性展示出来。因为在安装hadoop的时候,其site系列配置文件里有改动,所以这里也要弄成一样的设置。主要关注的有以下属性:

fs.defualt.name:这个在General tab页已经设置了

mapred.job.tracker:这个在General tab页也设置了

hadoop.job.ugi:刚才说看不见的那个,就是这个属性,这里要填写:sony,Tardis,逗号前面的是连接的hadoop的用户,逗号后面就写死Tardis

然后点击finish,然后就连接上了

linux

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:http://www.heiqu.com/185524c111fd630c625295632b957a4e.html