通过这种方式插入操作明显能够提高程序的插入效率。虽然第一种方法通过优化后，同样的可以减少数据库连接次数，但第二种方法：合并后日志量(MySQL的binlog和innodb的事务让日志)减少了，降低日志刷盘的数据量和频率，从而提高效率。同时也能减少SQL语句解析的次数，减少网络传输的IO。
3、MySqlBulkLoader插入MySQLBulkLoader也称为LOAD DATA INFILE，它的原理是从文件读取数据。所以我们需要将我们的数据集保存到文件，然后再从文件里面读取。
实现代码：
//开始时间 var startTime = DateTime.Now; using (var conn = new MySqlConnection(connsql)) { conn.Open(); var table = new DataTable(); table.Columns.Add("id", typeof(string)); table.Columns.Add("trade_no", typeof(string)); //生成10万数据 for (var i = 0; i < 100000; i++) { if (i % 500000 == 0) { table.Rows.Clear(); } //记录 var row = table.NewRow(); row[0] = Guid.NewGuid().ToString(); row[1] = "trade_" + (i + 1); table.Rows.Add(row); //50万条一批次插入 if (i % 500000 != 499999 && i < (100000 - 1)) { continue; } Console.WriteLine("开始插入:" + i); //数据转换为csv格式 var tradeCsv = DataTableToCsv(table); var tradeFilePath = System.AppDomain.CurrentDomain.BaseDirectory + "trade.csv"; File.WriteAllText(tradeFilePath, tradeCsv); #region 保存至数据库 var bulkCopy = new MySqlBulkLoader(conn) { FieldTerminator = ",", FieldQuotationCharacter = '"', EscapeCharacter = '"', LineTerminator = "\r\n", FileName = tradeFilePath, NumberOfLinesToSkip = 0, TableName = "trade" }; bulkCopy.Columns.AddRange(table.Columns.Cast<DataColumn>().Select(colum => colum.ColumnName).ToList()); bulkCopy.Load(); #endregion } conn.Close(); } //完成时间 var endTime = DateTime.Now; //耗时 var spanTime = endTime - startTime; Console.WriteLine("MySqlBulk方式耗时：" + spanTime.Minutes + "分" + spanTime.Seconds + "秒" + spanTime.Milliseconds + "毫秒");
10万条测试耗时：
注意：MySQL数据库配置需开启：允许文件导入。配置如下：
secure_file_priv=
性能测试对比针对上面三种方法，分别测试10万、20万、100万、1000万条数据记录，最终性能入如下：
通过测试数据看，随着数据量的增大，MySqlBulkLoader的方式表现依旧良好，其他方式性能下降比较明显。MySqlBulkLoader的方式完全可以满足我们的需求。
以上就是.Net Core导入千万级数据至Mysql数据库的详细内容，更多关于.Net Core导入千万级数据至Mysql的资料请关注脚本之家其它相关文章！
您可能感兴趣的文章: