Hadoop2.7.2集群搭建详解(高可用)

如果你还没有虚拟机,请参考:
如果你还没有试过单机模式,请参考:
如果你还没有试过集群模式,请参考:

集群规划 主机名ip安装的软件进程
Hadoop01   192.168.1.101   jdk、hadoop   NN、DFSZKFailoverController  
hadoop02   192.168.1.102   jdk、hadoop   NN、DFSZKFailoverController  
hadoop03   192.168.1.103   jdk、hadoop   RM  
hadoop04   192.168.1.104   jdk、hadoop、zookeeper   DN、NM、journalnode  
hadoop05   192.168.1.105   jdk、hadoop、zookeeper   DN、NM、journalnode  
hadoop06   192.168.1.106   jdk、hadoop、zookeeper   DN、NM、journalnode  
六台主机

主机名:
hadoop01、hadoop02、hadoop03、hadoop04、hadoop05、hadoop06
如果不会请参考:

用户名:Hadoop
密码:12345678

设置主机名映射(root用户)

将本机的主机名和IP建立映射关系

vi /etc/hosts

加入如下文件:

192.168.2.101 hadoop01 192.168.2.102 hadoop02 192.168.2.103 hadoop03 192.168.2.104 hadoop04 192.168.2.105 hadoop05 192.168.2.106 hadoop06

这里写图片描述

拷贝/etc/hosts到其它主机

scp /etc/hosts hadoop02:/etc/ scp /etc/hosts hadoop03:/etc/ scp /etc/hosts hadoop04:/etc/ scp /etc/hosts hadoop05:/etc/ scp /etc/hosts hadoop06:/etc/ 开放常用端口(root用户) #关闭防火墙 sudo systemctl stop firewalld.service #关闭开机启动 sudo systemctl disable firewalld.service 创建专有的用户(root用户)

一般是建专有的hadoop用户,不在root用户上面搭建

创建组和用户

这里每台虚拟主机都应该有hadoop用户

#先创建组cloud groupadd cloud #创建用户并加入组cloud useradd -g cloud hadoop #修改用户hadoop的密码 passwd hadoop 将hadoop用户加到sodu列表

1、查看/etc/sudoers的权限

ls -l /etc/sudoers

可以看的是只读权限,如果我们要修改就必须先改变该文件的权限

2、修改权限

chmod 777 /etc/sudoers

3、将hadoop添加root权限

vim /etc/sudoers

这里写图片描述

在root下加入下面hadoop用户

4、还原权限

chmod 440 /etc/sudoers

拷贝/etc/sudoers到其它主机

scp /etc/sudoers hadoop02:/etc/ scp /etc/sudoers hadoop03:/etc/ scp /etc/sudoers hadoop04:/etc/ scp /etc/sudoers hadoop05:/etc/ scp /etc/sudoers hadoop06:/etc/ 配置免密码登录(hadoop用户)

切换hadoop用户

su hadoop

进入到当前用户的根目录

cd ~

查看所有文件

ls –la

进入.ssh目录

cd .ssh

生产公钥和私钥(四个回车)

ssh-keygen -t rsa

执行完这个命令后,会生成两个文件id_rsa(私钥)、id_rsa.pub(公钥)

将公钥拷贝到要免登陆的机器上

ssh-copy-id 192.168.2.101 ssh-copy-id 192.168.2.102 ssh-copy-id 192.168.2.103 ssh-copy-id 192.168.2.104 ssh-copy-id 192.168.2.105 ssh-copy-id 192.168.2.106

这时会在192.168.2.102主机的.ssh/下产生一个名为authorized_keys的文件,这时通过 ssh 192.168.2.102时可以直接免登陆进入主机
如下:

这里写图片描述

同理可以给其他机器也设置免密码登录。

准备软件

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:https://www.heiqu.com/4ead2d5da07935bcc9a58ce6f15b743b.html