VMware上CentOS7.0+Hadoop3.1伪分布式搭建

JDK需要安装1.8。

一、VM

网络采用NAT模式,毕竟后续搭建分布式方便。

取消DHCP,NAT里的dns设置成虚拟的网关IP(192.168.31.2,可以加上外网的解析地址114.114.114.114)

VMware上CentOS7.0+Hadoop3.1伪分布式搭建

VMware上CentOS7.0+Hadoop3.1伪分布式搭建

VMware上CentOS7.0+Hadoop3.1伪分布式搭建

二、IP设置
使用NAT模式设置IP
默认宿主机ip192.168.31.1  #不同的PC,这里的IP不一样,但是宿主机一般都是.1,网关机(虚拟机的)一般都是.2

宿主机的虚拟网卡VMnet8有时候IP会出问题,建议手工设置IP:192.168.31.1
默认虚拟机网关192.168.31.2 ,虚拟机自动虚拟出来的。
虚拟机ip手动设置为192.168.31.10  #这里随意设置,不要和宿主机和网关相同就可以,确保在一个网段。

以上IP和原本宿主机的局域网IP不在一个网段。

VMware上CentOS7.0+Hadoop3.1伪分布式搭建

linux的IP

vi /etc/sysconfig/network-scripts/ifcfg-ens33 

#注意这里,不同的linux版本网卡名字可能不一样,通常可能是eth0,CentOS7.0是ens33

以下是ifcfg-ens33里的内容:
TYPE=Ethernet
PROXY_METHOD=none
BROWSER_ONLY=no
BOOTPROTO=none
DEFROUTE=yes
IPV4_FAILURE_FATAL=no
##IPV6INIT=yes
##IPV6_AUTOCONF=yes
##IPV6_DEFROUTE=yes
##IPV6_FAILURE_FATAL=no
##IPV6_ADDR_GEN_MODE=stable-privacy
NAME=ens33
UUID=45fe5552-7117-4c84-9742-c87adfa222b9
DEVICE=ens33
ONBOOT=yes
ZONE=public #这里设置ZONE方便后面设置防火墙
IPADDR=192.168.31.10
NETMASK=255.255.255.0
GATEWAY=192.168.31.2
DNS1=192.168.31.2

虚拟机ifconfig

VMware上CentOS7.0+Hadoop3.1伪分布式搭建

宿主机ipconfig

VMware上CentOS7.0+Hadoop3.1伪分布式搭建

设置到这里,宿主机可以ping通虚拟机,虚拟机可以ping通宿主机和网关。如果相互ping不同就需要检查宿主机和虚拟机的防火墙。

三、设置主机名

修改hostname
vi /etc/sysconfig/network

NETWORKING=yes  #使用网络
HOSTNAME=bigdata-senior01.home.com  #设置主机名

配置hosts
vi /etc/host
127.0.0.1  localhost localhost.localdomain localhost4 localhost4.localdomain4
::1        localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.31.10 bigdata-senior01.home.com

配置完linux的主机名,在windows的hosts里也需要配置一下192.168.31.10 bigdata-senior01.home.com

一定要设置主机名,一定要配置hosts,曾经被坑在这里。

四、关闭selinux

selinux是Linux一个子安全机制,但是,请关闭它。

vi /etc/sysconfig/selinux


# This file controls the state of SELinux on the system.
# SELINUX= can take one of these three values:
#    enforcing - SELinux security policy is enforced.
#    permissive - SELinux prints warnings instead of enforcing.
#    disabled - No SELinux policy is loaded.
SELINUX=disabled
# SELINUXTYPE= can take one of these two values:
#    targeted - Targeted processes are protected,
#    mls - Multi Level Security protection.
SELINUXTYPE=targeted

 五、Hadoop的用户设置

1、 创建hadoop的普通用户

 useradd hadoop
 passwd hadoop

2、 给hadoop用户sudo权限

 vi /etc/sudoers

设置权限(非生产环境可以随意点)

root    ALL=(ALL)      ALL
hadoop ALL=(root) NOPASSWD:ALL

3、 切换到hadoop用户
 su - hadoop

4、 创建存放hadoop文件的目录

 sudo mkdir /opt/modules
 
5、 将hadoop文件夹的所有者指定为hadoop用户

如果存放hadoop的目录的所有者不是hadoop,之后hadoop运行中可能会有权限问题。

 sudo chown -R hadoop:hadoop /opt/modules

六、解压Hadoop目录文件
      自行百度hadoop下载
1、 复制hadoop-3.1.0.tar.gz到/opt/modules目录下。

2、 解压hadoop-3.1.0.tar.gz

 cd /opt/modules
 tar -zxvf hadoop-3.1.0.tar.gz

七、配置hadoop环境变量

1、环境变量

vi /etc/profile

java的配置这里也提一下:

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:https://www.heiqu.com/387e0b236ec03defa182a2270f5cf93f.html