centos7 ambari2.6.1.5+hdp2.6.4.0 大数据集群安装部署

本文是讲如何在centos7（64位） 安装ambari+hdp,如果在装有原生hadoop等集群的机器上安装，需要先将集群服务停掉，然后将不需要的环境变量注释掉即可，如果不注释掉，后面虽然可以安装成功，但是在启动某些服务的时候可能会有异常，比如最后提到的hive启动异常。本文适合系统： RedHat7、CentOS7、Oracle Linux7(都是64位)
注意:centos7中文系统有bug（python脚本中文识别问题）,需要使用英文系统。
本文仅作参考（基本每个配置博客都有局限性和坑~），推荐先参考官方文档：
https://docs.hortonworks.com/HDPDocuments/Ambari-2.6.1.5/bk_ambari-installation/content/ch_Getting_Ready.html
以下均在root用户下执行。

1、满足最低系统要求 1.1 浏览器

建议您将浏览器(自己使用的windows既可)更新至最新的稳定版本

1.2 软件要求（在每台主机上） 1
2
3
4
5
6
7
8
9
  1.2.1 yum和rpm
1.2.2 scp, curl, unzip, tar、 wget
1.2.3 OpenSSL（v1.01，build 16或更高版本）
1.2.4 python：2.7(注意如果有使用python3.x的需求，不要改变python环境变量，否则3.x会报错)
1.2.5 jdk：1.8
1.2.6 mysql：5.6（官网上写的5.6，不确定更高版本有没有问题，也可以使用其他数据库，根据自己习惯）
1.2.7 内存要求：Ambari主机应该至少有1 GB RAM，500 MB空闲，（但如果使用的话，建议内存8g以上，我自己的虚拟机内存4g搭好后跑起来会很卡，配置低的话警告也会很多）
1.2.8 检查最大打开文件描述符,推荐的最大打开文件描述符数为10000或更多
1.2.9 mysql-connector-java
 

以上软件大部分系统自带，其余可参考：CentOS 初始环境配置

2、环境准备（在每台主机上） 2.1 ssh 免密

只需master 免密到其他节点（包含自身），不需要互通，参考：linux ssh 免密登录

2.2 启用NTP 1
2
  yum install -y ntp
systemctl enable ntpd
 
2.3 编辑主机文件 1
  vim /etc/hosts
 

本文只是在个人虚拟机上进行安装测试，所以只选择两个节点，在公司真实环境下多个节点安装是一样的，ambari对内存要求较高，如果个人电脑配置不高的话，建议学习一下即可。

1
2
  192.168.44.138 ambari.master.com
192.168.44.139 ambari.slave1.com
 

 

其中后面的如ambari.master.com为完全限定域名（FQDN)（通过符号“.”）,不能简单的设为master等，如果该文件里有其他映射，如上面的配置必须要在最前面（自带的localhost下面一行），否则后面安装会报错。

2.4 设置主机名

以ambari.master.com为例
2.4.1

1
  hostname ambari.master.com
 

 

2.4.2

1
  vim /etc/hostname
 

 

1
  ambari.master.com
 

两步缺一不可，通过命令验证

1
2
  hostname
hostname -f
 

 

两个必须都为ambari.master.com才行

2.5 编辑网络配置文件 1
  vim /etc/sysconfig/network
 

修改HOSTNAME属性为FQDN

1
2
  NETWORKING=yes
HOSTNAME=ambari.master.com
 

 

2.6 禁用iptables 1
2
  systemctl disable firewalld
service firewalld stop
 
2.7 禁用SELinux

2.7.1 临时禁用

1
  setenforce 0
 

 

2.7.2 永久禁用(重启机器)

1
  vim /etc/sysconfig/selinux
 

 

将SELINUX改为disabled

1
  SELINUX=disabled
 

 

这样服务器或虚拟机重启也没有问题。

3、制作本地源（仅在master）