Hadoop 多节点集群安装指南

我们用2个节点来安装Hadoop 集群,其中192.168.129.35是主节点,而192.168.129.34是从节点。

在主节点(192.168.129.35)和从节点(192.168.129.34)上都创建一个用户叫hadoop-user

Hadoop

主节点(192.168.129.35)以hadoop-user登录

因为hadoop集群中需要有个主节点(master node)来承担NameNode和JobTracker守护进程,并且承担连接和激活其他从节点(slave node)的DataNode和 TaskTracker守护进程的责任。而它们的通信在Hadoop中是使用无密码的SSH,所以我们必须配置无密码的SSH。

首先验证ssh是否已经安装:

which ssh

which sshd

which ssh-keygen

Hadoop

主节点(192.168.129.35)上产生SSH密码对

ssh-keygen -t  rsa

Hadoop

在主节点(192.168.129.35)上查看公钥信息:

cat ~/.ssh/id_rsa.pub

Hadoop

将公钥从主节点(192.168.129.35)复制到每个hadoop节点,因为我们主节点已经有,所以我们把它发布到从节点192.168.129.34上

从主节点(192.168.129.35)运行:

scp ~/.ssh/id_rsa.pub hadoop-user@192.168.129.34:~/master_key

Hadoop

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:http://www.heiqu.com/a47cb26ca9fe492d235c1e97dcad8e34.html