Hadoop集群环境的搭建和单机版的搭建差不多,就是多了一些文件的配置操作。
一、3台主机的hostname修改和IP地址绑定注意:下面的操作我都是使用root权限进行!
(1)3太主机的基本网络环境CentOS6.5,32位,在虚拟机下实现。
我在虚拟机下安装了3个centos6.5系统,其IP地址和主机名分别如下:
192.168.1.103 hadoop
192.168.1.105 hadoop0
192.168.1.106 hadoop1
这里,hadoop是master,hadoop0和hadoop1是两个slaves。
(2)IP地址与hostname绑定在hadoop主机下:
vi /etc/sysconfig/network
将HOSTNAME修改为hadoop,见下图:
在hadoop0主机下操作类似,将HOSTNAME修改为hadoop0;在hadoop1主机下操作类似,将HOSTNAME修改为hadoop1。
在hadoop主机下:
输入:vi /etc/hosts,在hosts下添加如下内容:
192.168.1.103 hadoop
192.168.1.105 hadoop0
192.168.1.106 hadoop1
然后通过scp命令,将修改好的hosts复制到hadoop0和hadoop1的/etc/hosts文件夹下覆盖:
scp /etc/hosts root@hadoop0:/etc/hosts
scp /etc/hosts root@hadoop1:/etc/hosts
在3台主机下分别输入:
ping hadoop
ping hadoop0
ping hadoop1
如果3太主机都能ping通,那说明前面的配置成功。
--------------------------------------分割线 --------------------------------------
Ubuntu 13.04上搭建Hadoop环境
Ubuntu 12.10 +Hadoop 1.2.1版本集群配置
--------------------------------------分割线 --------------------------------------
二、SSH免密码登陆在hadoop主机下:
1.查看当前用户下(root)是否有.ssh的隐藏文件,如果没有就创建一个
mkdir .ssh
2.输入ssh-keygen -t rsa
这个命令会在.ssh文件夹下生成id_dsa和id_ds.pub两个文件,这私钥和公钥。
3.输入
cp id_rsa.pub authorized_keys
这条命令是把公钥加到用于认证的公钥文件中
4.验证SSH是否安装成功,以及是否可以免密码登陆本机
ssh localhost
如果显示如下,表示安装成功
5.将authorized_keys复制到hadoop0和hadoop1下的.ssh文件,这样就可以免密码登陆hadoop0和hadoop1了。
scp authorized_keys root@hadoop0:.ssh/
scp authorized_keys root@hadoop1:.ssh/
6.测试
在hadoop主机下输入:
在第一次登陆是需要密码,以后则不要。到此,ssh的免密码登陆完成。