1. 在VMware workstations上创建4个Linux虚拟机,并配置其静态IP。
如何在VMware workstation上创建Linux虚拟机
准备使用Linux虚拟机部署Hadoop集群,故在win10系统上安装了VMware workstation,具体安装非常简单,在此不做阐述。本文主要介绍如何在VMware workstation上创建Linux虚拟机。
步骤:
1. 如下图,在VMware workstation中,点击【创建新的虚拟机】。
2. Linux虚拟机的具体配置如下:
有关【克隆Linux虚拟机及配置网络】,请参考这里。
2. 配置DNS(每个节点)编辑配置文件,添加主节点和从节点的映射关系。
#vim /etc/hosts
192.168.44.3 hadoop01
192.168.44.4 hadoop02
192.168.44.5 hadoop03
192.168.44.6 hadoop04
3. 关闭防火墙(每个节点)
#关闭服务
[root@hadoop01 opt]# systemctl stop firewalld
#关闭开机自启动
[root@hadoop01 opt]# systemctl disable firewalld
Removed symlink /etc/systemd/system/multi-user.target.wants/firewalld.service.
Removed symlink /etc/systemd/system/dbus-org.Fedoraproject.FirewallD1.service.
4. 配置免密码登录
有关【配置免密码登录方法】,请参考这里 https://www.linuxidc.com/Linux/2019-02/156882.htm。
5. 配置Java环境(每个节点)
本文详细介绍Linux系统下配置Java环境的方法,使用JDK1.8版本。
1. 从Oracle官网上下载Java8版本。
下载链接:https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
2. 上传Java包到Linux系统。
使用rz命令将Java tar包上传到Linux系统。(有关rz命令用法,请参考这里)
3. 解压Java安装包
[root@hadoop01 opt]# ls
jdk-8u101-linux-x64.tar.gz
[root@hadoop01 opt]# tar -zxvf jdk-8u101-linux-x64.tar.gz
...
jdk1.8.0_101/man/ja_JP.UTF-8/man1/javapackager.1
jdk1.8.0_101/man/ja_JP.UTF-8/man1/jstat.1
[root@hadoop01 opt]# ls
jdk1.8.0_101 jdk-8u101-linux-x64.tar.gz
4. 配置Java环境变量
#vim /etc/profile
# Java
export JAVA_HOME=/opt/jdk1.8.0_101 # 该路径为java安装路径
export CLASSPATH=$JAVA_HOME/lib/
export PATH=$PATH:$JAVA_HOME/bin
# :wq保存后,使配置文件生效
#source /etc/profile
5. 验证Java安装状态
[root@hadoop01 jdk1.8.0_101]# java -version
java version "1.8.0_101"
Java(TM) SE Runtime Environment (build 1.8.0_101-b13)
Java HotSpot(TM) 64-Bit Server VM (build 25.101-b13, mixed mode)
二、搭建Hadoop完全分布式集群
在各个节点上安装与配置Hadoop的过程都基本相同,因此可以在每个节点上安装好Hadoop后,在主节点master上进行统一配置,然后通过scp 命令将修改的配置文件拷贝到各个从节点上即可。
1. 下载Hadoop安装包,解压,配置Hadoop环境变量
有关【Hadoop安装包下载方法】。
Hadoop3.0版本的诞生,引入了很多新功能,为了验证Hadoop2.0与3.0版本的性能,需下载Hadoop的不同版本。故下文演示如何下载Hadoop安装包的方法。
1. 进入Apache Hadoop官网:
2. 点击左侧【Download】按钮,进入如下下载页面:
可点击当前界面上显示的Binary安装包进入下载,亦可点击【mirror site】进入镜像页面,选择要安装的版本进行下载。
本文下载的Hadoop版本是2.7.7,指定一个目录(比如:/opt),使用rz命令上传Hadoop安装包到Linux系统,解压到指定目录,配置Hadoop环境变量,并使其生效。实现命令如下:
#配置Hadoop环境变量
[root@hadoop02 opt]# vim /etc/profile
#Hadoop
export HADOOP_HOME=/opt/hadoop-2.7.7 # 该目录为解压安装目录
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
export HADOOP_CONF_DIR=${HADOOP_HOME}/etc/hadoop
#保存后,使profile生效
[root@hadoop02 opt]# source /etc/profile
2. 配置Hadoop环境脚本文件中的JAVA_HOME参数
#进入Had安装目录下的etc/hadoop目录
[root@hadoop01 ~]#cd /opt/hadoop-2.7.7/etc/hadoop
#分别在hadoop-env.sh、mapred-env.sh、yarn-env.sh文件中添加或修改如下参数: