接下来配置表输出,在左侧菜单栏【转换】里面,选择【核心对象】,【输出】一栏接着双击【表输出】,或者选中将【表输出】拖拽到右侧空白区域。
单击【表输入】,按shift键连接【表输入】,建立起【表输入】和【表输出】的连接,如图:
双击【表输出】,配置要迁移的目标表,我这里两边数据库字段一样,故而可以不用修改,如图:
ctrl+s保存为o2m.ktr文件,到这里一个简单的转换就配置完成了。
2.4 运行转换
手工运行作业,点击下图红色圈圈里面的按钮。
点击启动,日志级别这里可以选择错误日志,这样只记录错误信息
转换输出栏如下图:
最后检测两边表,如记录数count(*)、表中数据对比等没问题的话表示转换完成。
2.5 kettle运行的一些优化
本地跑kettle速度不是很给力,查了资料做了些优化。
2.5.1 修改JVM内存大小
JVM初始分配的内存由-Xms指定,默认是物理内存的1/64;JVM最大分配的内存由-Xmx指 定,默认是物理内存的1/4。默认空余堆内存小于 40%时,JVM就会增大堆直到-Xmx的最大限制;空余堆内存大于70%时,JVM会减少堆直到-Xms的最小限制。因此服务器一般设置-Xms、 -Xmx相等以避免在每次GC 后调整堆的大小。可以利用JVM提供的-Xmn -Xms -Xmx等选项可进行堆内存设置,一般的要将-Xms和-Xmx选项设置为相同,而-Xmn为1/4的-Xmx值,建议堆的最大值设置为可用内存的最大值的80%。
本机内存8G,修改spoon.bat 相关参数如下:
修改完效率不是很高,但是略微能提升一点读写性能。
2.5.2 表输出设置多线程
表输入和表输出都可以设置多线程,但是【表输入】开启多线程容易造成数据重复,比如select * from table设置为3,就会迁移3份重复数据,故只设置表输出:
数字8就代表开启了8个输出线程,开启后速度明显提升不少。
2.5.3 修改输出参数
mysql表输出的时候出现减速的原因可能是因为网络链接的属性设置
在此处添加参数:
useServerPrepStmts=false
rewriteBatchedStatements=true
useCompression=true
如图:
以上就是在windows上使用kettle的一些心得,但是考虑到表数据量太大,故而后续把kettle转换配置放在linux 服务器跑了,速度得到大大提升,将在下一篇说明。