OpenStack环境下Hadoop2.2.0环境搭建

OpenStack目前已经成为众多云计算厂商搭建私有云的首选，众多学术机构也使用OpenStack搭建小规模测试环境供学生实验，在此分享使用OpenStack虚拟机搭建Hadoop2.2.0环境的过程。

1.VM环境准备

OpenStack版本：Folsom

a. 发起三台测试虚拟机，操作系统为 Ubuntu-12.04.2-x86_64

b. 配置IP地址，因为在F版本的OpenStack中，网络采用FlatDHCP模式使得虚拟机获得10.0.x.x段的Fixed IP地址，因此需要在虚拟机中配置/etc/hosts文件。

# vim /etc/hosts

127.0.0.1 localhost localhost.localdomain
10.0.0.225 hdp-server-01
10.0.1.19 hdp-server-02
10.0.1.17 hdp-server-03

c. 用root在每台机器上新建用户 yarn，使用同样的密码

# useradd -m -s /bin/bash yarn
# passwd yarn
Enter new UNIX password:
Retype new UNIX password:
passwd: password updated successfully

d. 设置ssh无密码互访

#每台机器
$ su yarn
$ cd ~
$ ssh-keygen -t rsa
$ cat .ssh/id_rsa.pub >> .ssh/authorized_keys
#可以使用 ssh localhost 测试是否可以无密码访问
#相互之间可以将.ssh/authorized_keys的内容互拷到对方的.ssh/authorized_keys文件中。

e. 使用yarn账户，通过/etc/hosts文件中填写的主机名进行互访，并验证是否无密码登录。

因为采用64位的操作系统，因此不能够直接使用从官网下载的文件进行安装，必须手动编译。以下为编译过程：

2.编译Hadoop2.2.0

a. 配置JDK环境变量，假设jdk文件夹为/usr/java/jdk1.7.0_45

su yarn
# vim ~/.bashrc
# 追加写入

export JAVA_HOME=/usr/local/java/jdk1.7.0_45
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH

$source ~/.bashrc #使设置生效

相关阅读：

在Ubuntu 12.10 上安装部署Openstack

Ubuntu 12.04 OpenStack Swift单节点部署手册

OpenStack云计算快速入门教程

企业部署OpenStack：该做与不该做的事

Ubuntu上搭建Hadoop环境（单机模式+伪分布模式）

Ubuntu下Hadoop环境的配置

单机版搭建Hadoop环境图文教程详解