虚拟机下Hadoop1.1.2集群环境搭建

Hadoop集群环境的搭建和单机版的搭建差不多,就是多了一些文件的配置操作。

一、3台主机的hostname修改和IP地址绑定

注意:下面的操作我都是使用root权限进行!

(1)3太主机的基本网络环境

CentOS6.5,32位,在虚拟机下实现。

我在虚拟机下安装了3个centos6.5系统,其IP地址和主机名分别如下:

192.168.1.103 hadoop

192.168.1.105 hadoop0

192.168.1.106 hadoop1

这里,hadoop是master,hadoop0和hadoop1是两个slaves。

(2)IP地址与hostname绑定

在hadoop主机下:

vi /etc/sysconfig/network

将HOSTNAME修改为hadoop,见下图:

在hadoop0主机下操作类似,将HOSTNAME修改为hadoop0;在hadoop1主机下操作类似,将HOSTNAME修改为hadoop1。

在hadoop主机下:

输入:vi /etc/hosts,在hosts下添加如下内容:

192.168.1.103  hadoop
192.168.1.105  hadoop0
192.168.1.106  hadoop1

然后通过scp命令,将修改好的hosts复制到hadoop0和hadoop1的/etc/hosts文件夹下覆盖:

scp  /etc/hosts  root@hadoop0:/etc/hosts
scp  /etc/hosts  root@hadoop1:/etc/hosts

(3)测试3太主机之间是否能Ping通

在3台主机下分别输入:

ping hadoop
ping hadoop0
ping hadoop1

如果3太主机都能ping通,那说明前面的配置成功。

--------------------------------------分割线 --------------------------------------

Ubuntu 13.04上搭建Hadoop环境

Ubuntu 12.10 +Hadoop 1.2.1版本集群配置

Ubuntu上搭建Hadoop环境(单机模式+伪分布模式)

Ubuntu下Hadoop环境的配置

单机版搭建Hadoop环境图文教程详解

--------------------------------------分割线 --------------------------------------

二、SSH免密码登陆

在hadoop主机下:

1.查看当前用户下(root)是否有.ssh的隐藏文件,如果没有就创建一个

mkdir .ssh

2.输入ssh-keygen -t rsa

这个命令会在.ssh文件夹下生成id_dsa和id_ds.pub两个文件,这私钥和公钥。

3.输入

cp id_rsa.pub authorized_keys

这条命令是把公钥加到用于认证的公钥文件中

4.验证SSH是否安装成功,以及是否可以免密码登陆本机

ssh localhost

如果显示如下,表示安装成功

5.将authorized_keys复制到hadoop0和hadoop1下的.ssh文件,这样就可以免密码登陆hadoop0和hadoop1了。

scp authorized_keys root@hadoop0:.ssh/
scp authorized_keys root@hadoop1:.ssh/

6.测试

在hadoop主机下输入:

在第一次登陆是需要密码,以后则不要。到此,ssh的免密码登陆完成。

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:https://www.heiqu.com/11eedfaf40c39d8660fb8e67abdbe73b.html