本章剩下的部分就从搭建 Hadoop 集群开始,学习 Hadoop 技术。搭建 Hadoop 集群一般用 Cloudera Manager 或者 HortonWorks,搭建起来很容易。我在之前的公司是用 Cloudera Manager 搭建 Hadoop 集群,并且公司经常需要到客户的服务器单独部署大数据计算服务,因此对 Cloudera 那套东西非常熟。熟到什么程度呢,通过搭建本地 Http 服务,基本上10分钟左右就能搭建一个集群。但我们现在是在学习 Hadoop 技术,所以还是自己亲子搭建集群更利于我们学习。
准备至少得是一台 8G 内存的电脑,我们做开发 CPU 基本上差不到哪儿去。安装VMware或者VirtualBox,搭建三台虚拟机。我的电脑 16G 内存,三台虚拟机配置如下:
操作系统:Centos 7.3 64位 内存:1GB 硬盘: 40G CPU:1核 主机名与IP对应关系 192.168.29.132 hadoop0 192.168.29.133 hadoop1 192.168.29.134 hadoop2