Hadoop的版本更新挺快的，已经到了2.4，但是其周边工具的更新速度还是比较慢的，一些旧的周边工具版本对hadoop2.x的兼容性做得还不完善，特别是sqoop。最近，在为hadoop2.2.0找适合的sqoop版本时遇到了很多问题。尝试了多个sqoop1.4.x版本的直接简单粗暴的报版本不兼容问题，其中测了sqoop-1.4.4.bin__hadoop-0.23这个版本，在该版本中直接用sqoop的脚本export HDFS的数据是没有问题的，但是一旦调用JAVA API来进行对HDFS的数据的export的时候就各种不兼容问题，原因是这个版本的API也是基于hadoop1.x来写的。另外还尝试了使用sqoop2（之前blog写过关于sqoop2的部署和使用情况： ），这个版本取消了sqoop1的脚本执行方式，可以采取交互式、api或者rest的方式工作，但是我在使用的过程中还是存在的一些问题：sqoop2（我用的是1.99.3）无法指定列的分隔符、对\N等字符的处理有问题、对列值的类型判断存在问题等（其详细问题所在请看，sqoop1.99.3源代码的org.apache.sqoop.job.io.Data类）。
这个礼拜终于找到了一个比较好的方案来取代sqoop作为HDFS到mysql的数据export模块，那就是大淘宝开源的datax。虽然datax采用的是单机方式的作业方式，但是经过试验我对比了一下其和sqoop性能上的差异，在数据量不是特别大的情况下datax和sqoop的性能相差不是很明显的，在少量数据的情况下datax的性能稍微好点。
这篇blog将简单介绍一下这个datax这个框架以及它的用法，特别地说说如果修改datax才能使得datax运行在hadoop2.x上（datax是基于hadoop1.x进行开发的）。另外，主要和大家分享一下我在自己项目中如何使用datax，如何通过自己编写的shell脚本将datax、mysql和项目粘合起来。
二、datax简介和datax在hadoop2.x上的兼容部署
1、datax简介
DataX是一个在异构的数据库/文件系统之间高速交换数据的工具，实现了在任意的数据处理系统(RDBMS/Hdfs/Local filesystem）之间的数据交换。Datax框架中我最欣赏的就是基于插件的模式，你在部署的时候可以只安装那些用到的Reader/Writer插件rpm包，没有用的可以不用安装。同时，你也可以根据自己的特殊需求很快的写出Reader、Writer。Datax采用Framework + plugin架构构建，Framework处理了缓冲，流控，并发，上下文加载等高速数据交换的大部分技术问题，提供了简单的接口与插件交互，插件仅需实现对数据处理系统的访问。Datax的运行方式采用stand-alone方式，在数据传输过程在单进程内完成，全内存操作，不读写磁盘，也没有IPC通信。下面是一个来自大淘宝开源官网的datax架构图：
各个组件的作用：
Job: 一道数据同步作业
Splitter: 作业切分模块，将一个大任务与分解成多个可以并发的小任务.
Sub-job： 数据同步作业切分后的小任务
Reader(Loader): 数据读入模块，负责运行切分后的小任务，将数据从源头装载入DataX
Storage: Reader和Writer通过Storage交换数据
Writer(Dumper): 数据写出模块，负责将数据从DataX导入至目的数据地
Datax内置插件：
DataX框架内部通过双缓冲队列、线程池封装等技术，集中处理了高速数据交换遇到的问题，提供简单的接口与插件交互，插件分为Reader和Writer两类，基于框架提供的插件接口，可以十分便捷的开发出需要的插件。比如想要从Oracle导出数据到mysql，那么需要做的就是开发出OracleReader和MysqlWriter插件，装配到框架上即可。并且这样的插件一般情况下在其他数据交换场合是可以通用的。更大的惊喜是我们已经开发了如下插件：
Reader插件
hdfsreader : 支持从hdfs文件系统获取数据。
mysqlreader: 支持从mysql数据库获取数据。
sqlserverreader: 支持从sqlserver数据库获取数据。
oraclereader : 支持从oracle数据库获取数据。
streamreader: 支持从stream流获取数据（常用于测试）
httpreader : 支持从http URL获取数据。
Writer插件
hdfswriter：支持向hdbf写入数据。
mysqlwriter：支持向mysql写入数据。
oraclewriter：支持向oracle写入数据。
streamwriter：支持向stream流写入数据。（常用于测试）
--------------------------------------分割线 --------------------------------------
Ubuntu 13.04上搭建Hadoop环境
Ubuntu 12.10 +Hadoop 1.2.1版本集群配置
Hadoop: The Definitive Guide【PDF版】
--------------------------------------分割线 --------------------------------------
2、datax在hadoop2.x上的兼容部署