Hadoop 2.2.0集群搭建

1、虚拟机平台:VMware10

2、Linux版本:Ubuntu-12.04.3-desktop-i386

3、JDK:jdk1.7.0_51

4、Hadoop版本:2.2.0

5、集群节点:3个,分别是hadoopMaster,hadoopSlave1,hadoopSlave2

注明:文中linuxidc是虚拟机用户名。

--------------------------------------分割线 --------------------------------------

Ubuntu 13.04上搭建Hadoop环境

Ubuntu 12.10 +Hadoop 1.2.1版本集群配置

Ubuntu上搭建Hadoop环境(单机模式+伪分布模式)

Ubuntu下Hadoop环境的配置

单机版搭建Hadoop环境图文教程详解

Hadoop LZO 安装教程

Hadoop集群上使用Lzo压缩

--------------------------------------分割线 --------------------------------------

二、准备工作

1、安装虚拟机平台,并新建一个Ubuntu虚拟机,记为hadoopMaster。

2、在hadoopMaster上安装JDK。

Jdk一般有两个版本:Open JDK、SunJDK,建议使用Sun JDK。安装步骤如下:

先去 Oracle下载Linux下的JDK压缩包,,下好后直接解压。

进入在存放jdk文件夹的当前目录,将解压好的jdk1.7.0_51文件夹用最高权限复移动到/usr/lib/jvm目录里,此时即使没有jvm目录也可以执行如下命令,jvm文件夹将得到创建。

sudo mv jdk1.7.0_51 /usr/lib/jvm/

接下来需要设置环境变量,进入当前用户名的主文件夹,修改.profile文件。注意,该文件是当前用户的配置文件,如果要对使用计算机的所有用户生效,那么需要设置的文件应该是 /etc/profile。

sudo gedit ~/.profile

在末尾加上:

export JAVA_HOME=/usr/lib/jvm/jdk1.7.0_51
        exportJRE_HOME=/usr/lib/jvm/jdk1.7.0_51/jre
        exportCLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
        export PATH=$JAVA_HOME/bin:$PATH

然后保存关闭,此时在命令行输入java -version将会仍然显示java没有安装。此时,需要使用source更新下.profile文件:

$ source ~/.profile

再次使用java -version命令可以看到如下输出:

linuxidc@ubuntu:~$ java -version
        java version "1.7.0_51"
        Java(TM) SE Runtime Environment (build1.7.0_51-b18)

到此,已经将oracle jdk配置完成。如果之前系统里面已经安装了openjdk,可以使用如下方法将默认jdk更改过来:

$ sudo update-alternatives --install/usr/bin/java java /usr/lib/jvm/jdk1.7.0_51/bin/java 300

输入sun jdk前的数字就好了

$ sudo update-alternatives --install/usr/bin/javac javac /usr/lib/jvm/jdk1.7.0_51/bin/javac 300
        $ sudo update-alternatives --config java
        $ sudo update-alternatives --config javac

3、安装SSH

可以先检查是否已经有ssh,也可以跳过这步,直接安装。

$ sudo ps -ef | grep ssh

如果只有 ssh-agent  就需要安装openssh-server了。

$ sudo apt-get install ssh openssh-server

4、配置SSH公钥

$ ssh-keygen -t rsa -P "yourPassWord"

$ ssh-keygen -t rsa -P "yourPassWord"

ssh-kengen 是用连字符连着的,千万不要分开。另外,密码是你的虚拟机密码,而不是空(当然,如果你的虚拟机密码为空,另当别论)。

5、建立IP和hadoop节点的映射关系

修改etc/hosts文件,在上面加入hadoop节点IP和名称的映射关系。

$ sudo gedit /etc/hosts

在其中加上(ip是节点可配置的ip,自己设定):

192.168.32.***  hadoopMaster

192.168.32.***  hadoopSlave1

192.168.32.***  hadoop Slave2

6、克隆两个Ubuntu虚拟机,作为hadoop的其他两个节点

7、分别修改三个Ubuntu虚拟机的名称

sudo gedit /etc/hostname

分别将三个虚拟机名称改为:hadoopMaster,hadoopSlave1,hadoopSlave2。

8、修改三个Ubuntu虚拟机的IP

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:https://www.heiqu.com/8531a1b7b79ce9c29a1c84ce155065f5.html