在家里的两台电脑上用VMware+RedHat Linux AS6 + Hadoop-0.21.0上搭建了一个3节点的Hadoop集群,虽说是原来已经搭建过类似的集群了,也跑过JavaAPI来操作HDFS与Map/reduce,但是这一次依然是受到挑战了,好些小细节,稍有遗漏就会有如坐过山车一般大起大落。故此,记下本次的操作的几个步骤,以供后续参考。
1、建3个VM的虚拟机,保证互联互通
IP address:192.168.43.201 hostname :zhangzk01
IP address:192.168.43.202 hostname :zhangzk02
IP address:192.168.43.203 hostname :zhangzk03
以zhangzk01为namenode节点,zhangzk02与zhangzk03为datanode。
zhangzk01机器的/etc/hosts文件内容修改为如下形式:
127.0.0.1 localhost localhost.localdomain localhost
192.168.43.201 zhangzk01 zhangzk01.localdomain zhangzk01
192.168.43.202 zhangzk02
192.168.43.203 zhangzk03
zhangzk02机器的/etc/hosts文件内容修改为如下形式:
127.0.0.1 localhost localhost.localdomain localhost
192.168.43.202 zhangzk02 zhangzk02.localdomain zhangzk02
192.168.43.201 zhangzk01
192.168.43.203 zhangzk03
zhangzk03机器的/etc/hosts文件内容修改为如下形式:
127.0.0.1 localhost localhost.localdomain localhost
192.168.43.203 zhangzk03 zhangzk03.localdomain zhangzk03
192.168.43.201 zhangzk01
192.168.43.202 zhangzk02
2、保证Master/Slave机器之间可以通过SSH无密钥互相访问
在3台机器上建立一个相同的用户,zhangzk,家目录为/home/zhangzk。
zhangzk01:
以用户zhangzk登录zhangzk01,在家目录下执行下述命令:
ssh-keygen -t rsa
一路回车下去即可在目录/home/zhangzk/.ssh/下建立两个文件 id_rsa.pub和id_rsa。
接下来,需要进入/home/zhangzk/.ssh目录,执行如下命令:
cd .ssh
再把is_rsa.pub文件复制到zhangzk02和zhangzk03机器上去。
scp -r id_rsa.pub zhangzk@zhangzk03:/home/zhangzk/.ssh/authorized_keys_zhangzk01
scp -r id_rsa.pub zhangzk@zhangzk02:/home/zhangzk/.ssh/authorized_keys_zhangzk01
zhangzk02:
以用户zhangzk登录zhangzk02,在目录下执行命令:
ssh-keygen -t rsa
一路回车下去即可在目录/home/zhangzk/.ssh/下建立两个文件 id_rsa.pub和id_rsa。
接下来,需要进入/home/zhangzk/.ssh目录,执行如下命令:
cd .ssh
再把is_rsa.pub文件复制到zhangzk01机器上去。
scp -r id_rsa.pub zhangzk@zhangzk01:/home/zhangzk/.ssh/authorized_keys_zhangzk02
zhangzk03:
以用户zhangzk登录zhangzk03,在目录下执行命令:
ssh-keygen -t rsa
一路回车下去即可在目录/home/zhangzk/.ssh/下建立两个文件 id_rsa.pub和id_rsa。
接下来,需要进入/home/zhangzk/.ssh目录,执行如下命令:
cd .ssh
再把is_rsa.pub文件复制到zhangzk01机器上去。
scp -r id_rsa.pub zhangzk@zhangzk01:/home/zhangzk/.ssh/authorized_keys_zhangzk03
*******************************************************************************
上述方式分别为zhangzk01\zhangzk02\zhangzk03机器生成了rsa密钥,并且把zhangzk01的id_rsa.pub复制到zhangzk02\zhangzk03上去了,而把zhangzk02和zhangzk03上的id_rsa.pub复制到zhangzk01上去了。
接下来还要完成如下步骤:
zhangzk01:
以zhangzk用户登录zhangzk01,并且进入目录/home/zhangzk/.ssh下,执行如下命令:
cat id_rsa.pub >> authorized_keys
cat authorized_keys_zhangzk02 >> authorized_keys
cat authorized_keys_zhangzk03 >> authorized_keys
chmod 644 authorized_keys
zhangzk02:
以zhangzk用户登录zhangzk02,并且进入目录/home/zhangzk/.ssh下,执行如下命令:
cat id_rsa.pub >> authorized_keys
cat authorized_keys_zhangzk01 >> authorized_keys
chmod 644 authorized_keys
zhangzk03:
以zhangzk用户登录zhangzk03,并且进入目录/home/zhangzk/.ssh下,执行如下命令:
cat id_rsa.pub >> authorized_keys
cat authorized_keys_zhangzk01 >> authorized_keys
chmod 644 authorized_keys
通过上述配置,现在以用户zhangzk登录zhangzk01即可以无密钥认证方式访问zhangzk02和zhangzk03了,同样也可以在zhangzk02和zhangzk03上以ssh zhangzk01方式连接到zhangzk01上进行访问了。