Hadoop2.2.0的部署
机器环境:
操作系统:CentOS 6.4 64位系统
Hadoop版本:hadoop-2.2.0,在CentOS下自行编译后的64位版本。
操作步骤:
1.假设共四台机器,每台机器的用户名均设为myhadoop(为了安装配置的方便,另外也是为了权限问题)
机器名 IP地址 分配
hadoop1 10.172.169.191 namenode,ResourceManager
hadoop2 10.172.169.192 datanode,NodeManager
hadoop3 10.172.169.193 datanode , NodeManager
hadoop4 10.172.169.194 datanode , NodeManager
2.每台机器均安装好javajdk并配置好相应的环境变量。要求每台机器的安装路径以及java环境变量设置一致。
3.关闭防火墙
切换到root帐户
开启:chkconfigiptables on
关闭:chkconfigiptables off
重启后永久生效
4.每台都配置/etc/host文件
在root账户下,打开/etc/host文件,添加IP地址解析
hadoop1 10.172.169.191
hadoop2 10.172.169.192
hadoop3 10.172.169.193
hadoop4 10.172.169.194
5.配置ssh无密码登录
(1).在namenode机器上
cd /home/myhadoop
ssh-keygen -t rsa
一路回车
(2).导入公钥到本机认证文件
cat ~/.ssh/id_rsa.pub>>~/.ssh/authorized_keys
(3).导入公钥到其他datanode节点认证文件
scp ~/.ssh/authorized_keys myhadoop@10.172.169.192:/home/myhadoop/.ssh/authorized_keys
scp ~/.ssh/authorized_keys myhadoop@10.172.169.193:/home/myhadoop/.ssh/authorized_keys
scp ~/.ssh/authorized_keys myhadoop@10.172.169.194:/home/myhadoop/.ssh/authorized_keys
(4).修改所有机器上的文件权限
chmod 700 ~/.ssh
chmod 600 ~/.ssh/authorized_keys
(5).测试是否可以ssh无密码登录。
如果namenode可以无密码登录到各个datanode机器,则说明配置成功。
相关阅读:
Ubuntu 13.04上搭建Hadoop环境