本篇演示如何使用 AWS EC2 云服务搭建集群。当然在只有一台计算机的情况下搭建完全分布式集群，还有另外几种方法：一种是本地搭建多台虚拟机，好处是免费易操控，坏处是虚拟机对宿主机配置要求较高，我就一台普通的笔记本，开两三个虚拟机实在承受不起； 另一种方案是使用 AWS EMR ，是亚马逊专门设计的集群平台，能快速启动集群，且具有较高的灵活性和扩展性，能方便地增加机器。然而其缺点是只能使用预设的软件，如下图：
如果要另外装软件，则需要使用 Bootstrap 脚本，详见 https://docs.aws.amazon.com/zh_cn/emr/latest/ManagementGuide/emr-plan-software.html?shortFooter=true ，可这并不是一件容易的事情，记得之前想在上面装腾讯的 Angel 就是死活都装不上去。 另外，如果在 EMR 上关闭了集群，则里面的文件和配置都不会保存，下次使用时全部要重新设置，可见其比较适用于一次性使用的场景。
综上所述，如果使用纯 EC2 进行手工搭建，则既不会受本地资源限制，也具有较高的灵活性，可以随意配置安装软件。而其缺点就是要手工搭建要耗费较多时间，而且在云上操作和在本地操作有些地方是不一样的，只要有一步出错可能就要卡壳很久，鉴于网上用 EC2 搭建这方面资料很少，因此这里写一篇文章把主要流程记录下来。
如果之前没有使用过 EC2，可能需要花一段时间熟悉，比如注册以及创建密钥对等步骤，官方提供了相关教程 。另外我的本地机和云端机使用的都是 Ubuntu 16.04 LTS 64位，如果你的本地机是 Windows，则需要用 Git 或 PuTTY 连接云端机，详情参阅 https://docs.aws.amazon.com/zh_cn/AWSEC2/latest/UserGuide/putty.html 。
创建 EC2 实例下面正式开始，这里设立三台机器 (实例)，一台作主节点 (master node)，两台作从节点 (slaves node)。首先创建实例，选择 Ubuntu Server 16.04 LTS (HVM) ，实例类型选择价格低廉的 t2.medium 。如果是第一次用，就不要选价格太高的类型了，不然万一操作失误了每月账单可承受不起。
在第 3 步中，因为要同时开三台机器，Number of Instances 可以直接选择3。但如果是每台分别开的话，下面的 Subnet 都要选择同一个区域，不然机器间无法通信，详情参阅 https://docs.aws.amazon.com/zh_cn/AWSEC2/latest/UserGuide/using-regions-availability-zones.html 。
第 4 步设置硬盘大小，如果就搭个集群可能不用动，如果还要装其他软件，可能就需要在这里增加容量了，我是增加到了 15 GB：
第 5 和第 6 步直接Next 即可，到第 7 步 Launch 后选择或新建密钥对，就能得到创建好的 3 个实例，这里可以设置名称备注，如 master、slave01、slave02 等：
开启 3 个终端窗口，ssh 连接3个实例，如 ssh -i xxxx.pem ubuntu@ec2-xx-xxx-xxx-xx.us-west-2.compute.amazonaws.com ，其中 xxxx.pem 是你的本地密钥对名称，ec2-xx-xxx-xxx-xx.us-west-2.compute.amazonaws.com 是该实例的外部 DNS 主机名，每台实例都不一样。这里需要说明一下，因为这是和本地开虚拟机的不同之处： EC2 的实例都有公有 IP 和私有 IP 之分，私有 IP 用于云上实例之间的通信，而公有 IP 则用于你的本地机与实例之间的通信，因此这里 ssh 连接使用的是公有 IP (DNS) 。在下面搭建集群的步骤中也有需要填写公有和私有 IP ，注意不要填反了。关于二者的区别参阅 。
新增 Hadoop 用户、安装 Java 环境