在进入大数据领域来,一直使用微软的Azure HDInsight,当前在中国区仅支持在Windows系统上部署集群,虽然创建的过程很简单,但对于开发人员来说,就是一个黑盒子,在更深入的研究和开发扩展的过程中,遇到了不少麻烦。因此准备在本地手工搭建自己的HDP2.4集群进行研究和学习, 第一步通过VMWare创建虚拟机节点,安装操作系统,通过对比选择CentOS7。
安装过程:
软件下载
创建虚拟机
Centos配置
下载软件包:
虚拟机工具软件: VMware-workstation-full-12.0.1-3160714.exe
Centos安装程序: CentOS-7-x86_64-DVD-1511.iso
Java安装程序: jdk-8u91-linux-x64.rpm
注意:
HDP2.4 与Centos7中文版有冲突,所以在Centos7安装的过程中,必须选择英文版
安装过程:
启动VMware Workstation, 在VM管理界面选择 "Create a New Virture Machine"
按向导选择OS镜像文件(即你下载到本地的 CentOS-7-x86_64-DVD-1511.iso 文件),如图
点击向导下一步:输入虚拟机名及本地存储路径。
点击向导下一步:输入分配给虚拟机的磁盘大小,选中“Store virtual disk as a single file" (这样文件夹下会比较干净)
点击向导下一步:按默认设置,点击”完成“,进入初始化安装界面。(当鼠标移动虚拟机安装界面时,可能出现找不着鼠标的现象,按Ctrl+Alt键)
初始化结束后,进入安装向导界面,如图(注意我上面说的,一定选择英文)
点击向导"Continue" (一次点击不行就点击两次:))
设置时间、时区 (亚洲、香港)
"SoftWare Selection", 对于习惯于Windows的新手,可选择Gonme Desktop(带桌面版的linux),我选择默认的Mininal Install
选择磁盘分区,如果不挂接附加盘,点击此选项后,在弹出的页面,连续两次点击“Done"
此时安装配置设置完成,"Begin Installation"按纽可用,点击开始安装
安装过程中,在如上图的界面,点击“Root Password"图标,给Root用户设置密码
点击”User Creation", 在弹出的界面,新建一个用户,同时设置用户管理员权限
等待几分钟后,系统安装完成,会提示重启机器
在VM管理界面,选中名为hdp1的机器,点击右键-->选择"Settings....", 在弹出界面中,选择网络连接方式为”Bridged",如下图:
重启后输入用户名和密码后成功进入系统,则表示安装成功