如何在CentOS下安装Hadoop并与Eclipse连接?

许久之前就计划学习Hadoop了,直到最近才提上日程。花费了一些时间才把CentOS下的Hadoop搭起来,前后经历的“挫折”绝对可以写成数千字的血泪史了。既有被网上教程坑了的苦逼遭遇,也有教研室大超师兄和实习公司的泡哥的爱心支援。今天终于可以坐下来说说如何在CentOS下安装Hadoop并与Eclipse连接这个问题。

先说一下要准备哪些软件和信息:

VMware-workstation;

CentOS-6.0-i386-bin-DVD;

eclipse-jee-luna-SR1-win32;

hadoop-0.20.2;

jdk-6u27-linux-i586;

(由于hadoop对版本的要求较高,大家还是不要轻易更换版本,这里列出来的各种软件都是稳定发布版,网上很容易可以download到的)。

整个教程分为这样5个部分来说:1)在Windows下安装虚拟机Vmware,并新建一个虚拟机装好centos系统;2)centos下设置ssh服务无密码登录;3)centos下安装jdk,并配置环境变量;4)centos下安装hadoop,并配置文件;5)windows下安装jdk和eclipse,并将eclipse与centos下的hadoop连接。可以说这5个部分每一个都很重要,尤其是第4)步。下面我们就详细说一下每一步该怎么做。

Step 0: 请大家先在windows下新建一个普通用户,用户名为hadoop,我们所有的软件全在这个下面安装,用户名最好要是hadoop,因为这个要和后面很多username相同,设为hadoop比较好记。

--------------------------------------分割线 --------------------------------------

Ubuntu 13.04上搭建Hadoop环境

Ubuntu 12.10 +Hadoop 1.2.1版本集群配置

Ubuntu上搭建Hadoop环境(单机模式+伪分布模式)

Ubuntu下Hadoop环境的配置

单机版搭建Hadoop环境图文教程详解

搭建Hadoop环境(在Winodws环境下用虚拟机虚拟两个Ubuntu系统进行搭建)

--------------------------------------分割线 --------------------------------------

1)在Windows下安装虚拟机Vmware,并新建一个虚拟机装好centos系统;

首先,下载VMware-workstation并安装,这步骤和一般windows下安装软件的过程是一样的,入门小白也会熟练操作,这里就节省点儿空间给后面重要的步骤了~

然后,在Vmware的主页上新建一个虚拟机,如下图:

如何在CentOS下安装Hadoop并与Eclipse连接?

如何在CentOS下安装Hadoop并与Eclipse连接?

一路下一步,直到让你选择系统镜像路径,我们选择centos系统映像,如上图,点击下一步。然后,需要你输入linux的用户名,这个比较重要,最好填写hadoop,因为这个名字在后面要用到好多次!

如何在CentOS下安装Hadoop并与Eclipse连接?

如何在CentOS下安装Hadoop并与Eclipse连接?

后面还是一路的“下一步”,直到让你设置虚拟机的内存大小,建议为1024M。如上图。后面就是要选择和虚拟机的网络类型有关的设置了,建议为“使用网络地址转换NAT”,如下图。这一步我当时选择了自动桥接的功能,找了一个晚上的错误。。。时间就这样白花花的没了~~

如何在CentOS下安装Hadoop并与Eclipse连接?

如何在CentOS下安装Hadoop并与Eclipse连接?

之后还是一路的“下一步”,几乎都是使用它推荐的设置,我们就可以新建一个centos,等待个几分钟然后就可以进入centos界面了。看到那一抹科技蓝,有没有让你心动了呢~~哈哈哈,你确实走好了第一步!

2)centos下设置ssh服务无密码登录;

在桌面右击,选择openin Terminal,这个就是linux的终端了。希望读者有一些linux操作系统的基础,这样子上手更快一些。不过要是没有的话,也没有关系,我们是面向新手的教程。

如何在CentOS下安装Hadoop并与Eclipse连接?

如何在CentOS下安装Hadoop并与Eclipse连接?

2.1. 先在linux命令行中输入su,提示密码,输入你自己设置的密码,这样子你后面的操作都具有了linux系统下的最高权限——root权限。

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:https://www.heiqu.com/03f677d2a480774feb205a6b6cfeb5ba.html