Hadoop分布式集群的搭建的方法步骤

1 安装说明

1.1 用到的软件

1.2 节点安排

2 创建hadoop用户

所有的节点均创建一个名为hadoop的用户，并添加管理员权限。

注意：这里这是单纯为了方便管理，创建的用户名，也可以使用其他用户名，或者使用系统之前的用户，主要有管理员权限即可

$ sudo useradd -m hadoop -s /bin/bash #创建用户
$ sudo passwd hadoop #修改密码
$ sudo adduser hadoop sudo #添加管理员权限

3 配置网络环境

3.1 修改主机名

修改 /etc/hostname文件，每个节点都要修改。

• 主节点修改为：Master
• 从节点分别修改为：Slave01,Slave02,...

注意：如果是ubuntu18.04桌面版直接修改/etc/hostname文件即可，ubuntu18.04服务器版还需要修改/etc/cloud/cloud.cfg文件，修改如下：

# This will cause the set+update hostname module to not operate (if true)
preserve_hostname: true #这里是将false改成true

3.2 添加IP与主机名的映射关系

在/etc/hosts文件里添加如下内容（每个节点都要修改，根据实际情况修改ip)

192.168.233.200 Master
192.168.233.201 Slave01
192.168.233.202 Slave02

检查各个节点是否能相互ping通。

3.3 设置SSH无密码登录节点

让Master能够通过SSH无密码登录各个Slave节点

如果修改过主机名，需要重新生成的新的公钥。

在Master上执行如下命令：