记一次Hadoop安装部署过程

实验名称：Hadoop安装部署 一、实验环境： 虚拟机数量：3个 （1个master，2个slave：slave01，slave02） 主节点master信息：

操作系统：CentOS7.5

软件包位置：/home/zkpk/tgz

数据包位置：/home/zkpk/experiment

已安装软件：无

从节点slave01信息：

操作系统：CentOS7.5

软件包位置：/home/zkpk/tgz

数据包位置：/home/zkpk/experiment

已安装软件：无

从节点slave02信息：

操作系统：CentOS7.5

软件包位置：/home/zkpk/tgz

数据包位置：/home/zkpk/experiment

已安装软件：无

二、实验目的：

掌握 linux系统基础

熟悉hadoop操作指令

掌握配置集群节点间免密登录

掌握配置JDK

掌握配置部署hadoop的步骤和配置相关环境文件

三、实验要求：

独立完成hadoop的安装部署。

四、实验内容：

在若干节点中，安装部署hadoop分布式集群，并会启动集群以及使用 Web
UI查看集群是否成功启动；在搭建好的hadoop分布式集群中运行PI实例检查集群是否成功；

实验内容流程图如下。

五、实验步骤： 1 登录大数据实验平台，进入实验，（界面显示为master、slave01、slave02）

2 确保各台虚拟机能ping通外网（上图界面中master、slave01、slave02，分别对应一个虚拟机，随后简称为“界面各虚拟机”） 2.1 在桌面空白处右击鼠标，打开一个终端（下图根据centos7所使用的桌面系统不同会稍有区别，一般使用gnome或xfce）

2.2ping一个外网网址，确保能够ping通，ctrl+c结束ping命令的执行（大数据实验室提供的虚拟机默认已可ping通外网）

3 配置主机名（“界面各虚拟机”分别操作此步骤，主机名分别设置为master, slave01,slave02）

说明：此处以界面虚拟机master的操作为例（默认已经配置好主机名称）

3.1 以下操作需要root权限，所以先切换成root用户

[zkpk@localhost ~]$ su root

3.2 使用gedit编辑主机名（或使用vim） 3.2.1 编辑主机名文件

[root@localhost ~]# gedit /etc/hostname

3.2.2 将原来内容替换为master

master

3.2.3 保存并退出 3.2.4 临时设置主机名为master：

[root@localhost ~]# hostname master

3.2.5 检测主机名是否修改成功：

说明：bash命令让上一步操作生效

[root@localhost zkpk]# bash [root@master zkpk]# hostname master

4 配置时钟同步（使用root权限；“界面各虚拟机”分别操作此步骤；若已配置过，请忽略此步骤）

说明：此处以master节点的操作为例

4.1 配置自动时钟同步 4.1.1使用Linux命令配置

[root@master zkpk]# crontab -e

4.1.2 按”i ”键，进入插入模式；输入下面的内容（星号之间和前后都有空格）

0 1 * * * /usr/sbin/ntpdate cn.pool.ntp.org

4.1.3 按Esc退出插入模式，然后按”: ”键，输入wq保存退出 4.2 手动同步时间，直接在Terminal运行下面的命令：

[root@master zkpk]# /usr/sbin/ntpdate cn.pool.ntp.org

5 关闭防火墙(使用root权限；“界面各虚拟机”分别操作此步骤；若已配置过，请忽略此步骤) 5.1 查看防火墙状态（默认已经关闭防火墙）

[root@master ~]# systemctl status firewalld.service