Ubuntu上Hadoop集群搭建

a)       从这里上下载Linux下的JDK安装文件jdk-6u30-linux-i586.bin。

b)       将JDK安装文件复制到一个本地的目录下，本人选择了/opt目录。

c)        执行

sudo sh jdk-6u30-linux-i586.bin (若无法执行首先要chmod+x jdk-6u30-linux-i586.bin)

d)        安装完毕后，修改/etc/environment文件，

sudo vi /etc/environment

在其中添加

PATH=”……:<jdk所在目录>/bin”

CLASSPATH=”.:<jdk所在目录>/lib”

JAVA_HOME=”<jdk所在目录>”

e)       然后

source ~/.bashrc

f)        重启terminal，如果是ssh登录的话，先退出，再重新登录。

g)       java -version

应该就能看到所安装的jdk的信息。

在每台集群中的机器上都如上述所示，安装JDK。

相关阅读：

Hadoop MapReduce数据流 

基于Hadoop的存储平台 解海洋数据孤岛之困

Hadoop文件系统在模型和架构上的性能分析

Hadoop集群初学笔记

2、 在集群的每台机器上都新建用户hadoop

a)       sudo adduser --ingroup adminhadoop

密码等信息任意。

将所新建的hadoop用户加入admin用户组，这样该用户就拥有的sudo权限，这样在设置时比较方便。

如果发现新建用户错误，则可以利用

userdel –r <username>

命令删除用户。

b)       接着将hadoop安装文件hadoop-0.20.203.0rc1.tar.gz复制每台机器的hadoop用户的主目录下，并执行

tar xzf hadoop-0.20.203.0rc1.tar.gz

解压得到hadoop-0.20.203.0目录。

3、 配置ssh，使master机器可以无密码ssh访问自己和其他机器

a)       此步骤在最终作为master的机器上运行，需保证每台机器上都安装有ssh服务器和客户端，如果没有安装则可以通过执行

sudo apt-get install ssh 和sudo apt-get installopenssh-server 命令来进行安装。

b)       首先执行命令

ssh-keygen –t rsa （提示输入路径直接选择默认的路径，密码为空）

形成公私钥对，分别存放在~/.ssh/id_rsa.pub和~/.ssh/id_rsa中。

首先，将id_rsa.pub复制到本机的~/.ssh/authorized_keys下。

如果原来authorized_keys已经存在，则执行

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys 将公钥追加到authorized_keys中。

如果原来该文件不存在，直接将id_rsa.pub复制即可

cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys

这样通过ssh访问本机

ssh localhost

就不需要密码了。

c)        将master机上生成的公钥id_rsa.pub添加到其他机器的authorized_keys中，也是不存在authorized_keys则复制，存在authorized_keys则追加公钥。（可能有时候在其他机器上并不存在~/.ssh目录，这时可以手动新建一下这个目录，也可以在该机器上利用ssh登录一下其他机器）。

d)       最后，可以尝试在master机器上的hadoop用户可以无密码登录其他机器的hadoop用户。