Hadoop集群中添加datanode节点

随着业务的扩展,公司刚开始的三个节点已经不够用了,因此需要添加datanode。下面记录一下添加datanode节点的步骤:

1、在新的datanode上创建Hadoop运行的用户grid,并修改密码。并修改ip地址和绑定主机名,hosts文件,关闭新节点的防火墙。

  我用的是CentOS7的系统,因此修改静态ip地址是:vi  /etc/sysconfig/network-scripts/ifcfg-eno16777736

      然后执行 service  network  restart  重启网络。

  绑定主机名:vi  /etc/hostname ,修改成自定义的主机名即可。

  关闭防火墙:由于centos7用firewalld取代了iptables。因此关闭防火墙的命令是:

      systemctl  status  firewalld  查看防火墙的状态

      systemctl  stop  firewalld  关闭防火墙

      systemctl  disable firewalld  禁止防火墙开机启动,对应的会删除两个文件。 

  修改hosts文件:

      vi  /etc/hosts

    shutdown -r now  重启电脑。

2、 (1)在新的datanode节点上,用grid登录,创建ssh公钥:ssh-keygen -t rsa,

  (2)并对产生的公钥id_rsa.pub进行备份:cp id_rsa.pub id_rsa.pub.x  ,这里x表示新添加的节点对应的编码。

  (3)并将id_rsa.pub.x发送到主节点上。

      scp -r  id_rsa.pub.x grid@namenode_hostname:/home/grid/.ssh/

3、在主节点上,

  (1)将id_rsa.pub.x 拷贝到authorized_keys当中:cat id_rsa.pub.x >>authorized_keys

  (2)主节点将authorized_keys分发给所有的节点,包括新的datanode。

      scp -r authorized_keys  grid@datanode_hostname1:/home/grid/.ssh/

      scp -r authorized_keys  grid@datanode_hostname1:/home/grid/.ssh/

       :

       :

  (3)在主节点上,添加新的datanode的ip地址:

      vi  /etc/hosts  在该文件中添加新节点的ip地址和主机名

      然后将主节点上的hosts文件分发给所有的节点(包括新添加的datanode)。

  (4)将主节点的jdk的安装文件、hadoop的安装文件、环境变量的文件/etc/profile 分别都分发给新添加的datanode。

  (5)修改主节点上的hadoop的salves文件,添加datanode新节点的主机名。

  (6)在新添加的节点上执行 source /etc/profile

  (7)在新的节点上执行:
      hadoop-daemon.sh start datanode
      hadoop-daemon.sh start tasktracker

  (8)均衡之前的datanode的block,在新的节点上执行:
      start-balancer.sh

       这个会非常耗时
      1)如果不balance,那么cluster会把新的数据都存放在新的node上,这样会降低mapred的工作效率
      2)设置平衡阈值,默认是10%,值越低各节点越平衡,但消耗时间也更长
        [root@slave-004 hadoop]# start-balancer.sh -threshold 5
      3)设置balance的带宽,默认只有1M/s,修改hdfs-site.xml

        <property>
          <name>dfs.balance.bandwidthPerSec</name>
          <value>1048576</value>
        </property>

        

  (9)安全模式
    有两个方法离开这种安全模式:
    1)修改dfs.safemode.threshold.pct为一个比较小的值,缺省是0.999。
        dfs.safemode.threshold.pct(缺省值0.999f)
       HDFS启动的时候,如果DataNode上报的block个数达到了元数据记录的block个数的0.999倍才可以离开安全模式,否则一直是这种只读模式。如果设为1则HDFS永远是处于SafeMode。

    2)hadoop dfsadmin -safemode leave命令强制离开
        dfsadmin -safemode value 参数value的说明:
        enter - 进入安全模式
        leave - 强制NameNode离开安全模式
        get -  返回安全模式是否开启的信息
        wait - 等待,一直到安全模式结束。

Ubuntu14.04下Hadoop2.4.1单机/伪分布式安装配置教程 

CentOS安装和配置Hadoop2.2.0 

Ubuntu 13.04上搭建Hadoop环境

Ubuntu 12.10 +Hadoop 1.2.1版本集群配置

Ubuntu上搭建Hadoop环境(单机模式+伪分布模式)

Ubuntu下Hadoop环境的配置

单机版搭建Hadoop环境图文教程详解

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:https://www.heiqu.com/44ea3299490a2fdbcc64b1be4b13f87e.html