我们用2个节点来安装Hadoop 集群,其中192.168.129.35是主节点,而192.168.129.34是从节点。
在主节点(192.168.129.35)和从节点(192.168.129.34)上都创建一个用户叫hadoop-user
主节点(192.168.129.35)以hadoop-user登录
因为hadoop集群中需要有个主节点(master node)来承担NameNode和JobTracker守护进程,并且承担连接和激活其他从节点(slave node)的DataNode和 TaskTracker守护进程的责任。而它们的通信在Hadoop中是使用无密码的SSH,所以我们必须配置无密码的SSH。
首先验证ssh是否已经安装:
which ssh
which sshd
which ssh-keygen
主节点(192.168.129.35)上产生SSH密码对
ssh-keygen -t rsa
在主节点(192.168.129.35)上查看公钥信息:
cat ~/.ssh/id_rsa.pub
将公钥从主节点(192.168.129.35)复制到每个hadoop节点,因为我们主节点已经有,所以我们把它发布到从节点192.168.129.34上
从主节点(192.168.129.35)运行:
scp ~/.ssh/id_rsa.pub hadoop-user@192.168.129.34:~/master_key