Hadoop 发行版本 Hortonworks 安装详解(一) 准备工作

目前Hadoop发行版非常多,所有这些发行版均是基于Apache Hadoop衍生出来的,之所以有这么多的版本,完全是由Apache Hadoop的开源协议决定的:任何人可以对其进行修改,并作为开源或商业产品发布/销售。

Hortonworks这个名字源自儿童书中一只叫Horton的大象。雅虎主导Hadoop开发的副总裁,带领二十几个核心成员成立Hortonworks。

Hortonworks有两款核心产品:HDP和HDF

Hortonworks没有对产品收费,而是将这两款产品完全开放,将核心技术放在Hadoop开源社区中,每个人都可以看到并使用这两款产品

企业客户自己开发难度较大的话,就会选择合作。这就是Hortonworks的盈利模式,通过提供支持服务和后期维护,向企业级客户收费。

支持服务主要是通过订阅的方式,客户需要就某些功能预定一年或者几年的服务,提前付费。支持服务覆盖整个周期,从最初的开发和POC阶段,到中间的质量测试,直至产品交付。维护服务主要是对企业级客户的培训和一些咨询业务。

二、相关文档

Cluster Planning
Ambari
HDP

Hortonworks集群的安装过程说难不难说简单也不简单,中间稍有失误基本就得重装系统从头来过,所以实施安装前建议把官方的文档都过一遍,对于后续顺利完成集群安装很有帮助。

三、集群规划

截止当前,Hortonworks官方最新版本是Ambari 2.6.0.0、HDP 2.6.3,不过从之前我曾多次尝试安装Ambari 2.6.0.0+HDP 2.6.3失败的情况来看,基本确定最新版本存在BUG会导致无法顺利完成安装,初步定位BUG应该在包名称不匹配上面。

介于上述情况,我这里选择Ambari 2.5.2.0+HDP 2.6.2的组合经行安装。

Hadoop 发行版本 Hortonworks 安装详解(一) 准备工作

操作系统我这里选择CentOS 6.9(2.6.2的支持列表只到6.8,不过2.6.3的支持列表已经更新到6.9),JDK使用的Oracle 1.8,其余组件都是系统自带或者yum安装。

Hadoop 发行版本 Hortonworks 安装详解(一) 准备工作

写这篇的时候正好有个生产集群需要部署,故直接使用生产集群作为例子,如果仅仅是想安装测试集群的话可以选择1头节点4数据节点的规划。

     头结点    备用头结点    数据节点1    数据节点2    数据节点3  
namenode    是    是              
datanode            是    是    是  
 resourcemanager    是    是              
 journalnode    是    是              
 zookeeper    是    是    是          

 

四、系统安装

除了需要注意系统语言和磁盘格式,其它注意事项官方文档里面都有,自行查阅。
系统语言必须是en_US,否则添加节点安装必备环境的时候就会卡在下图的步骤。

Hadoop 发行版本 Hortonworks 安装详解(一) 准备工作

头结点的磁盘需要使用RAID 10,数据节点的磁盘不需要使用RAID,如果部分服务器走了RAID卡无法关闭,那么可以为每个磁盘做一个RAID 0。

Hadoop 发行版本 Hortonworks 安装详解(一) 准备工作

磁盘格式官方建议使用ext3而不建议使用ext4,但是从各位运Hadoop维大佬实际运维经验来看,使用ext4比ext3有利,具体怎么抉择各位仁者见仁智者见智。

Hadoop 发行版本 Hortonworks 安装详解(一) 准备工作

五、系统级别的基础配置

为了后续能顺利安装Hortonworks集群安装,完系统之后需要进行诸多系统层面的配置和调整,想要了解细节参见官方文档

Hadoop 发行版本 Hortonworks 安装详解(一) 准备工作

我这里提供一个基于各方资料汇集而成的自动配置脚本,针对Centos 6.9 Base Server安装方式。

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:https://www.heiqu.com/wpdgpw.html