RedHat Linux AS6上搭建Hadoop集群总结

在家里的两台电脑上用VMware+RedHat Linux AS6 + Hadoop-0.21.0上搭建了一个3节点的Hadoop集群,虽说是原来已经搭建过类似的集群了,也跑过JavaAPI来操作HDFS与Map/reduce,但是这一次依然是受到挑战了,好些小细节,稍有遗漏就会有如坐过山车一般大起大落。故此,记下本次的操作的几个步骤,以供后续参考。

1、建3个VM的虚拟机,保证互联互通

IP address:192.168.43.201   hostname :zhangzk01
IP address:192.168.43.202   hostname :zhangzk02
IP address:192.168.43.203   hostname :zhangzk03

以zhangzk01为namenode节点,zhangzk02与zhangzk03为datanode。

zhangzk01机器的/etc/hosts文件内容修改为如下形式:

127.0.0.1       localhost       localhost.localdomain   localhost
192.168.43.201  zhangzk01       zhangzk01.localdomain   zhangzk01
192.168.43.202  zhangzk02
192.168.43.203  zhangzk03

zhangzk02机器的/etc/hosts文件内容修改为如下形式:

127.0.0.1       localhost       localhost.localdomain   localhost
192.168.43.202  zhangzk02       zhangzk02.localdomain   zhangzk02
192.168.43.201  zhangzk01

192.168.43.203  zhangzk03

zhangzk03机器的/etc/hosts文件内容修改为如下形式:

127.0.0.1       localhost       localhost.localdomain   localhost
192.168.43.203  zhangzk03       zhangzk03.localdomain   zhangzk03
192.168.43.201  zhangzk01

192.168.43.202  zhangzk02

2、保证Master/Slave机器之间可以通过SSH无密钥互相访问

在3台机器上建立一个相同的用户,zhangzk,家目录为/home/zhangzk。

zhangzk01:

以用户zhangzk登录zhangzk01,在家目录下执行下述命令:

ssh-keygen -t rsa

一路回车下去即可在目录/home/zhangzk/.ssh/下建立两个文件 id_rsa.pub和id_rsa。

接下来,需要进入/home/zhangzk/.ssh目录,执行如下命令:

cd .ssh

再把is_rsa.pub文件复制到zhangzk02和zhangzk03机器上去。

scp -r id_rsa.pub zhangzk@zhangzk03:/home/zhangzk/.ssh/authorized_keys_zhangzk01
scp -r id_rsa.pub zhangzk@zhangzk02:/home/zhangzk/.ssh/authorized_keys_zhangzk01

zhangzk02:

以用户zhangzk登录zhangzk02,在目录下执行命令:

ssh-keygen -t rsa

一路回车下去即可在目录/home/zhangzk/.ssh/下建立两个文件 id_rsa.pub和id_rsa。

接下来,需要进入/home/zhangzk/.ssh目录,执行如下命令:

cd .ssh

再把is_rsa.pub文件复制到zhangzk01机器上去。

scp -r id_rsa.pub zhangzk@zhangzk01:/home/zhangzk/.ssh/authorized_keys_zhangzk02

zhangzk03:

以用户zhangzk登录zhangzk03,在目录下执行命令:

ssh-keygen -t rsa

一路回车下去即可在目录/home/zhangzk/.ssh/下建立两个文件 id_rsa.pub和id_rsa。

接下来,需要进入/home/zhangzk/.ssh目录,执行如下命令:

cd .ssh

再把is_rsa.pub文件复制到zhangzk01机器上去。

scp -r id_rsa.pub zhangzk@zhangzk01:/home/zhangzk/.ssh/authorized_keys_zhangzk03

*******************************************************************************

上述方式分别为zhangzk01\zhangzk02\zhangzk03机器生成了rsa密钥,并且把zhangzk01的id_rsa.pub复制到zhangzk02\zhangzk03上去了,而把zhangzk02和zhangzk03上的id_rsa.pub复制到zhangzk01上去了。

接下来还要完成如下步骤:

zhangzk01:

以zhangzk用户登录zhangzk01,并且进入目录/home/zhangzk/.ssh下,执行如下命令:

cat id_rsa.pub >> authorized_keys
cat authorized_keys_zhangzk02 >> authorized_keys
cat authorized_keys_zhangzk03 >> authorized_keys
chmod 644 authorized_keys

zhangzk02:

以zhangzk用户登录zhangzk02,并且进入目录/home/zhangzk/.ssh下,执行如下命令:

cat id_rsa.pub >> authorized_keys
cat authorized_keys_zhangzk01 >> authorized_keys
chmod 644 authorized_keys

zhangzk03:

以zhangzk用户登录zhangzk03,并且进入目录/home/zhangzk/.ssh下,执行如下命令:

cat id_rsa.pub >> authorized_keys
cat authorized_keys_zhangzk01 >> authorized_keys
chmod 644 authorized_keys

通过上述配置,现在以用户zhangzk登录zhangzk01即可以无密钥认证方式访问zhangzk02和zhangzk03了,同样也可以在zhangzk02和zhangzk03上以ssh zhangzk01方式连接到zhangzk01上进行访问了。

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:https://www.heiqu.com/wywfsf.html