写任何工具都不能脱离实际业务的背景。开始这个项目的时候是因为现有的项目中数据分布太零碎，零零散散的分布在好几个数据库中，没有统一的数据库来收集这些数据。这种情况下想做一个大而全的会员中心系统比较困难。（这边是一个以互联网保险为中心的项目，保单，会员等数据很零散的储存在好几个项目之中，并且项目之间的数据基本上是隔离的）。
现有的项目数据库是在腾讯云中储存，虽然腾讯提供了数据同步功能，但是这样必须要表结构相同才行，并不符合我们的需求。所以需要自行开发。
项目在这里：https://github.com/hjx601496320/miner。
需求1：需要能灵活配置。
2：实时数据10分钟内希望可以完成同步。
3：来源数据与目标数据可能结构，字段名称不同。
4：增删改都可以同步。
技术选择这个任务交给了我和另外一个同事来做。
同事的同事希望可以通过ETL工具Kettle来做，这个东西我没有研究过，是同事自己在研究。具体过程不是很清楚，但是最后是通过在mysql中设置更新，修改，删除的触发器，然后在Kettle中做了一个定时任务，实现了数据同步的功能，初步测试符合需求。但是必须要在数据库中设置触发器，并且会有一个临时表，这一点我个人不是很喜欢。
我的我是本着能自己写就自己写的原则
后来通过研究，发现mysql的数据操作会记录在binlog中，这时就有了新的方案。可以通过逐行获取binlog信息，经过解析数据后，同步在目标库中。
既然有了方案，那么就开始做吧。
开始尝试：1首先要打开数据库的binlog功能，这一步比较简单，修改mysql的配置文件：/etc/mysql/mysql.conf.d/mysqld.cnf，添加：
server-id = 1 log_bin = /var/log/mysql/mysql-bin.log expire_logs_days = 10 max_binlog_size = 100M binlog_format = ROW