kettle实现oracle迁移至mysql (2)

接下来配置表输出,在左侧菜单栏【转换】里面,选择【核心对象】,【输出】一栏接着双击【表输出】,或者选中将【表输出】拖拽到右侧空白区域。

单击【表输入】,按shift键连接【表输入】,建立起【表输入】和【表输出】的连接,如图:

kettle实现oracle迁移至mysql

双击【表输出】,配置要迁移的目标表,我这里两边数据库字段一样,故而可以不用修改,如图:

kettle实现oracle迁移至mysql

ctrl+s保存为o2m.ktr文件,到这里一个简单的转换就配置完成了。

2.4 运行转换

手工运行作业,点击下图红色圈圈里面的按钮。

kettle实现oracle迁移至mysql

点击启动,日志级别这里可以选择错误日志,这样只记录错误信息

kettle实现oracle迁移至mysql

转换输出栏如下图:

kettle实现oracle迁移至mysql

最后检测两边表,如记录数count(*)、表中数据对比等没问题的话表示转换完成。

2.5 kettle运行的一些优化

本地跑kettle速度不是很给力,查了资料做了些优化。

2.5.1 修改JVM内存大小

JVM初始分配的内存由-Xms指定,默认是物理内存的1/64;JVM最大分配的内存由-Xmx指 定,默认是物理内存的1/4。默认空余堆内存小于 40%时,JVM就会增大堆直到-Xmx的最大限制;空余堆内存大于70%时,JVM会减少堆直到-Xms的最小限制。因此服务器一般设置-Xms、 -Xmx相等以避免在每次GC 后调整堆的大小。可以利用JVM提供的-Xmn -Xms -Xmx等选项可进行堆内存设置,一般的要将-Xms和-Xmx选项设置为相同,而-Xmn为1/4的-Xmx值,建议堆的最大值设置为可用内存的最大值的80%。
本机内存8G,修改spoon.bat 相关参数如下:

kettle实现oracle迁移至mysql

修改完效率不是很高,但是略微能提升一点读写性能。

2.5.2  表输出设置多线程

表输入和表输出都可以设置多线程,但是【表输入】开启多线程容易造成数据重复,比如select *  from table设置为3,就会迁移3份重复数据,故只设置表输出:

kettle实现oracle迁移至mysql

kettle实现oracle迁移至mysql

数字8就代表开启了8个输出线程,开启后速度明显提升不少。

kettle实现oracle迁移至mysql

2.5.3 修改输出参数

mysql表输出的时候出现减速的原因可能是因为网络链接的属性设置

在此处添加参数:

useServerPrepStmts=false  
rewriteBatchedStatements=true  
useCompression=true 

如图:

kettle实现oracle迁移至mysql

以上就是在windows上使用kettle的一些心得,但是考虑到表数据量太大,故而后续把kettle转换配置放在linux 服务器跑了,速度得到大大提升,将在下一篇说明。

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:https://www.heiqu.com/zwpypg.html