Centos7.5搭建Hadoop2.8.5完全分布式集群

一、基础环境设置

1. 准备3台客户机

系统版本：Centos7.5

192.168.208.128 ——Master

192.168.208.129 ——Slaver-1

192.168.208.130 ——Slaver-2

192.168.208.130 ——Slaver-3

2. 配置hosts文件，使3台客户机能够以主机名相互访问 [root@Master ~]# vi /etc/hosts 127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4 ::1 localhost localhost.localdomain localhost6 localhost6.localdomain6 192.168.208.128 Master 192.168.208.129 Slaver-1 192.168.208.130 Slaver-2 192.168.208.131 Slaver-3 # 将hosts文件传送给其它2台客户机 [root@Master ~]# scp -r /etc/hosts root@node-2:/etc [root@Master ~]# scp -r /etc/hosts root@node-3:/etc [root@Master ~]# scp -r /etc/hosts root@node-4:/etc

3. 为3台客户机配置jdk环境

我们选择配置jdk1.8.0_181，点击此处下载。

[root@Master ~]# wget # 解压 [root@Master ~]# tar -xzvf jdk-8u181-linux-x64.tar.gz [root@Master ~]# mkdir /usr/local/java # 创建jdk存放目录 [root@Master ~]# mv jdk1.8.0_181/ /usr/local/java # 将解压缩文件转移至存放目录 # 配置jdk环境 [root@Master ~]# vi /etc/profile # 在文件末尾添加如下内容 # java export JAVA_HOME=http://www.likecs.com/usr/local/java/jdk1.8.0_181 # 注意，要与刚刚所创建的目录匹配 export PATH=$JAVA_HOME/bin:$PATH export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar # 使jdk配置文件生效 [root@Master ~]# source /etc/profile # 测试jdk环境配置是否成功，如输出如下内容，则表示成功 [root@Master ~]# java -version java version "1.8.0_181" Java(TM) SE Runtime Environment (build 1.8.0_181-b13) Java HotSpot(TM) 64-Bit Server VM (build 25.181-b13, mixed mode)

4. 关闭防火墙，SELinux a. iptables # 临时关闭 [root@Master ~]# service iptables stop # 禁止开机启动 [root@Master ~]# chkconfig iptables off b.firewalld

CentOS7版本后防火墙默认使用firewalld，默认是没有iptables的，所以关闭防火墙的命令如下：

# 临时关闭 [root@Master ~]# systemctl stop firewalld # 禁止开机启动，输出如下，则表示禁止成功 [root@Master ~]# systemctl disable firewalld Removed symlink /etc/systemd/system/multi-user.target.wants/firewalld.service. Removed symlink /etc/systemd/system/dbus-org.fedoraproject.FirewallD1.service. c.关闭SELinux # 永久关闭SELinux [root@Master ~]# vi /etc/selinux/config #disabled - No SELinux policy is loaded. SELINUX=disabled # 此处将SELINUX=enforcing改为SELINUX=disabled # SELINUXTYPE= can take one of three two values: # 修改SELinux配置后，需重启客户机才能生效 [root@Master ~]# reboot # 重启之后，查看SELinux状态 [root@Master ~]# /usr/sbin/sestatus SELinux status: disabled # 如果输出如是，则表示SELinux永久关闭成功

5. 设置SSH免密钥

关于ssh免密码的设置，要求每两台主机之间设置免密码，自己的主机与自己的主机之间也要求设置免密码。在这里，为了避免后面的各种权限问题，我们直接使用root账户来设置面密钥登陆。

[root@Master ~]$ ssh-keygen -t rsa [root@Master ~]$ ssh-copy-id node-1 [root@Master ~]$ ssh-copy-id node-2 [root@Master ~]$ ssh-copy-id node-3

注：每一台客户机都要做如上设置。

二、安装hadoop集群

1. 下载hadoop2.8.5二进制文件

hadoop2.8.5下载链接

2. hadoop安装目录

为了统一管理，我们将hadoop的安装路径定为/usr/opt/hadoop下，创建目录后，我们将hadoop二进制文件解压至这个目录下。

3. 配置core-site.xml

hadoop的配置文件，在/opt/hadoop/hadoop-2.8.5/etc/hadoop下，

[root@Master ~]# cd /opt/hadoop/hadoop-2.8.5/etc/hadoop [root@Master hadoop]# vi core-site.xml <configuration> <!--配置hdfs文件系统的命名空间--> <property> <name>fs.defaultFS</name> <value>hdfs://Master:9000</value> </property> <!-- 配置操作hdfs的存冲大小 --> <property> <name>io.file.buffer.size</name> <value>4096</value> </property> <!-- 配置临时数据存储目录 --> <property> <name>hadoop.tmp.dir</name> <value>/opt/hadoop/hadoop-2.8.5/tmp</value> </property> </configuration>

4. 配置hdfs-site.xml [root@Master hadoop]# vim hdfs-site.xml <configuration> <!--配置副本数--> <property> <name>dfs.replication</name> <value>3</value> </property> <!--hdfs的元数据存储位置--> <property> <name>dfs.namenode.name.dir</name> <value>/opt/hadoop/hadoop-2.8.5/hdfs/name</value> </property> <!--hdfs的数据存储位置--> <property> <name>dfs.datanode.data.dir</name> <value>/opt/hadoop/hadoop-2.8.5/hdfs/data</value> </property> <!--hdfs的namenode的web ui 地址--> <property> <name>dfs.http.address</name> <value>Master:50070</value> </property> <!--hdfs的snn的web ui 地址--> <property> <name>dfs.secondary.http.address</name> <value>Master:50090</value> </property> <!--是否开启web操作hdfs--> <property> <name>dfs.webhdfs.enabled</name> <value>true</value> </property> <!--是否启用hdfs权限（acl）--> <property> <name>dfs.permissions</name> <value>false</value> </property> </configuration>