HDP(Hortonworks Data Platform)是hortworks推出的100%开源的Hadoop发行版本,以YARN 作为其架构中心,包含pig、hive、phoniex、hbase、storm、spark等大量组件,在最新的2.4版本,监控UI实现与grafana集成,包含组件版本对应图如下:(图片来自hortonwork官网)
安装过程:
集群规划
环境准备
软件包下载: (HDP2.4的安装包过大,推荐离线安装)
HDP安装部署
集群规划:
192.168.2.89 hdp1 (ambari)
192.168.2.2 hdp2 (worknode1)
192.168.2.99 hdp3 (worknode2)
192.168.2.21 hdp4 (masterNode)
192.168.2.169 R (secondary master、zookeeper)
环境准备:
HDP安装:
执行:create database hive; (创建hive数据库)
执行:GRANT ALL PRIVILEGES ON hive.* TO 'hive'@'localhost' IDENTIFIED BY 'bigdata'; (创建hive用户)
执行:GRANT ALL PRIVILEGES ON hive.* TO 'hive'@'%' IDENTIFIED BY 'bigdata';
执行:FLUSH PRIVILEGES; (刷新权限)
执行:quit;
命令:service mysql restart;
验证:mysql -u hive -p (成功登陆则OK)
点击 " Test Connection", 如上图则OK
ambari 监控UI 工具 admin 赋 密码(bigdata),如图:
"Next", 在服务安装清单界面,确认无误后,选择 ”Deploy"
等待系统安装,安装结束后如图:
出现如下界面,则表示安装ok