数据库插入或者更新大批量数据的性能优化

数据库插入或者更新大批量数据的性能优化

对于一些数据量较大的系统,数据库面临的问题除了查询效率低下,还有就是数据入库时间长。特别像报表系统,每天花费在数据导入上的时间可能会长达几个小时或十几个小时之久。因此,优化数据库插入性能是很有意义的。

经过对MySQL InnoDB的一些性能测试,发现一些可以提高insert效率的方法,供大家参考参考。

1、一条SQL语句插入多条数据

常用的插入语句如:

INSERT INTO `insert_table` (`datetime`, `uid`, `content`, `type`) VALUES (\'0\', \'userid_0\', \'content_0\', 0);  

INSERT INTO `insert_table` (`datetime`, `uid`, `content`, `type`) VALUES (\'1\', \'userid_1\', \'content_1\', 1); 

修改成:

INSERT INTO `insert_table` (`datetime`, `uid`, `content`, `type`) VALUES (\'0\', \'userid_0\', \'content_0\', 0), (\'1\', \'userid_1\', \'content_1\', 1); 

修改后的插入操作能够提高程序的插入效率。这里第二种SQL执行效率高的主要原因是合并后日志量(MySQL的binlog和innodb的事务让日志)减少了,降低日志刷盘的数据量和频率,从而提高效率。通过合并SQL语句,同时也能减少SQL语句解析的次数,减少网络传输的IO。

这里提供一些测试对比数据,分别是进行单条数据的导入与转化成一条SQL语句进行导入,分别测试1百、1千、1万条数据记录。

数据库插入或者更新大批量数据的性能优化

2、在事务中进行插入处理。

把插入修改成:

START TRANSACTION;  

INSERT INTO `insert_table` (`datetime`, `uid`, `content`, `type`) VALUES (\'0\', \'userid_0\', \'content_0\', 0);  

INSERT INTO `insert_table` (`datetime`, `uid`, `content`, `type`) VALUES (\'1\', \'userid_1\', \'content_1\', 1);  

...  

COMMIT; 

使用事务可以提高数据的插入效率,这是因为进行一个INSERT操作时,MySQL内部会建立一个事务,在事务内才进行真正插入处理操作。通过使用事务可以减少创建事务的消耗,所有插入都在执行后才进行提交操作。

这里也提供了测试对比,分别是不使用事务与使用事务在记录数为1百、1千、1万的情况。

数据库插入或者更新大批量数据的性能优化

3、数据有序插入。

数据有序的插入是指插入记录在主键上是有序排列,例如datetime是记录的主键:

INSERT INTO `insert_table` (`datetime`, `uid`, `content`, `type`) VALUES (\'1\', \'userid_1\', \'content_1\', 1);  

INSERT INTO `insert_table` (`datetime`, `uid`, `content`, `type`) VALUES (\'0\', \'userid_0\', \'content_0\', 0);  

INSERT INTO `insert_table` (`datetime`, `uid`, `content`, `type`) VALUES (\'2\', \'userid_2\', \'content_2\',2); 

修改成:

INSERT INTO `insert_table` (`datetime`, `uid`, `content`, `type`) VALUES (\'0\', \'userid_0\', \'content_0\', 0);  

INSERT INTO `insert_table` (`datetime`, `uid`, `content`, `type`) VALUES (\'1\', \'userid_1\', \'content_1\', 1);  

内容版权声明:除非注明,否则皆为本站原创文章。

转载注明出处:https://www.heiqu.com/zzxdyj.html