这便是SQL的魅力，编程需要几十行，甚至上百行代码，而SQL一行搞定；使用SQL处理分析Hadoop上的数据，方便、高效、易上手、更是趋势。不论是离线计算还是实时计算，越来越多的大数据处理框架都在积极提供SQL接口。
另外就是SQL On Hadoop之Hive于大数据而言一定要学习的。
什么是Hive？
官方解释如下：The Apache Hive data warehouse software facilitates reading, writing, and managing large datasets residing in distributed storage and queried using SQL syntax。
为什么说Hive是数据仓库工具，而不是数据库工具呢？
有的朋友可能不知道数据仓库，数据仓库是逻辑上的概念，底层使用的是数据库，数据仓库中的数据有这两个特点：最全的历史数据（海量）、相对稳定的；所谓相对稳定，指的是数据仓库不同于业务系统数据库，数据经常会被更新，数据一旦进入数据仓库，很少会被更新和删除，只会被大量查询。而Hive，也是具备这两个特点，因此，Hive适合做海量数据的数据仓库工具，而不是数据库工具。
了解了它的作用之后，就是安装配置Hive的环节，当可以正常进入Hive命令行是，就是安装配置成功了。
了解Hive是怎么工作的
学会Hive的基本命令：
创建、删除表；加载数据到表；下载Hive表的数据；
MapReduce的原理（还是那个经典的题目，一个10G大小的文件，给定1G大小的内存，如何使用Java程序统计出现次数最多的10个单词及次数）；
HDFS读写数据的流程；向HDFS中PUT数据；从HDFS中下载数据；
自己会写简单的MapReduce程序，运行出现问题，知道在哪里查看日志；
会写简单的Select、Where、group by等SQL语句；
Hive SQL转换成MapReduce的大致流程；
Hive中常见的语句：创建表、删除表、往表中加载数据、分区、将表中数据下载到本地；
从上面的学习，你已经了解到，HDFS是Hadoop提供的分布式存储框架，它可以用来存储海量数据，MapReduce是Hadoop提供的分布式计算框架，它可以用来统计和分析HDFS上的海量数据，而Hive则是SQL On Hadoop，Hive提供了SQL接口，开发人员只需要编写简单易上手的SQL语句，Hive负责把SQL翻译成MapReduce，提交运行。
此时，你的”大数据平台”是这样的：那么问题来了，海量数据如何到HDFS上呢？
第三章：数据采集把各个数据源的数据采集到Hadoop上。
3.1 HDFS PUT命令
这个在前面你应该已经使用过了。put命令在实际环境中也比较常用，通常配合shell、python等脚本语言来使用。建议熟练掌握。
3.2 HDFS API
HDFS提供了写数据的API，自己用编程语言将数据写入HDFS，put命令本身也是使用API。
实际环境中一般自己较少编写程序使用API来写数据到HDFS，通常都是使用其他框架封装好的方法。比如：Hive中的INSERT语句，Spark中的saveAsTextfile等。建议了解原理，会写Demo。
3.3 Sqoop
Sqoop是一个主要用于Hadoop/Hive与传统关系型数据库，Oracle、MySQL、SQLServer等之间进行数据交换的开源框架。就像Hive把SQL翻译成MapReduce一样，Sqoop把你指定的参数翻译成MapReduce，提交到Hadoop运行，完成Hadoop与其他数据库之间的数据交换。
自己下载和配置Sqoop（建议先使用Sqoop1，Sqoop2比较复杂）。了解Sqoop常用的配置参数和方法。
使用Sqoop完成从MySQL同步数据到HDFS；使用Sqoop完成从MySQL同步数据到Hive表；如果后续选型确定使用Sqoop作为数据交换工具，那么建议熟练掌握，否则，了解和会用Demo即可。
3.4 Flume
Flume是一个分布式的海量日志采集和传输框架，因为“采集和传输框架”，所以它并不适合关系型数据库的数据采集和传输。Flume可以实时的从网络协议、消息系统、文件系统采集日志，并传输到HDFS上。
因此，如果你的业务有这些数据源的数据，并且需要实时的采集，那么就应该考虑使用Flume。
下载和配置Flume。使用Flume监控一个不断追加数据的文件，并将数据传输到HDFS；Flume的配置和使用较为复杂，如果你没有足够的兴趣和耐心，可以先跳过Flume。
3.5 阿里开源的DataX
之所以介绍这个，是因为我们公司目前使用的Hadoop与关系型数据库数据交换的工具，就是之前基于DataX开发的，非常好用。
可以参考我的博文《异构数据源海量数据交换工具-Taobao DataX 下载和使用》。现在DataX已经是3.0版本，支持很多数据源。你也可以在其之上做二次开发。有兴趣的可以研究和使用一下，对比一下它与Sqoop。
第四章：把Hadoop上的数据搞到别处去