手把手教你搭建Hadoop全分布式集群(3)

      就以这个用户名去远程登录到其他从节点的服务器中,所以在所有的生产环境中控制同一类集群的用户一定要相同。

4.3、测试实现主节点控制从节点

  1)在主节点的服务器中执行start-dfs.sh

    

  2)在web监控平台查询

    

手把手教你搭建Hadoop全分布式集群

  3)在主节点的服务器中执行stop-dfs.sh

    

  3)在主节点的服务器中执行start-yarn.sh

    

  4)在web监控平台查询到

    

手把手教你搭建Hadoop全分布式集群

  5)在主节点的服务器中执行stop-yarn.sh

    

手把手教你搭建Hadoop全分布式集群

五、配置集群中遇到的问题

  2)主节点和从节点启动了,但是在主节点的web控制页面查找不到从节点(linux系统安装在不同的物理机上面)

    

手把手教你搭建Hadoop全分布式集群

  解决方案:   

   在服务器添加完公钥之后,ssh服务器然后报了这个错误

          sign_and_send_pubkey: signing failed: agent refused operation

        然后执行了以下命令才好。。

          eval "$(ssh-agent -s)"  注意:-s前面有空格

           ssh-add

  3)

    

手把手教你搭建Hadoop全分布式集群

    在所有主节点和从节点的服务器中的/etc/hosts中:  删除所有关于ipv6的配置

    

手把手教你搭建Hadoop全分布式集群

    它不能建立IPv6的连接,所以删除了IPv6之后系统会使用IPv4(在主节点上添加从节点的标识的)

  4)在主节点的web控制页面查询不到从节点信息(但是使用jps可以查询到)

      我说过需要在etc/hosts文件中加入所有集群服务器的ip和主机名

      但是今天今天我测试的时候出现问题,然后我就把主从节点的在hosts文件配置的各个节点的ip+主机的配置删除了

   

   我估计这是因为我是在一台虚拟机中安装了多台的ubuntu中进行搭建集群的原因。

Hadoop2.3-HA高可用集群环境搭建 

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:https://www.heiqu.com/17260f032ea63978d244bffd18a8b8e1.html