var lists = new List<List<string>>(); var listt = new List<string>(); for (int i = 0; i < listbuilder.Count; i++) { if (i % 1000 == 0) { listt = new List<string>(); lists.Add(listt); } listt.Add(listbuilder[i].ToString()); } TimeCalc.LogStartTime(); Parallel.ForEach(lists, (x) => { using (var sm = new SqlManipulation(@";string;MaxPoolSize=1000;", SqlType.PostgresQL)) { sm.Init(); foreach (var n in x) { sm.ExcuteNonQuery(n); } } }); TimeCalc.ShowTotalDuration();
写入方式
耗时（1000条/行）
COPY
107s
insert
N/A
多行insert
160.58s
prepare多行insert
163.02s
事务多行insert
170.16s
多连接多行insert
98.18s
2. 写入更新
数据实时更新，数量可能继续增长，使用简单的insert或者update是不行的，操作使用postgresql 9.5以后支持的新语法。
insert into mesh on conflict (x,y) do update set z = excluded.z
吐槽postgresql这么晚才支持on conflict，mysql早有了...
在表中既有数据2500w+的前提下，重复往数据库里面写这些数据。这里只做多行插入更新测试，其他的结果应该差不多。
普通多行插入，耗时272.15s。
多线程插入的情况，耗时362.26s，CPU占用率一度到了100%。猜测多连接的情况下，更新互锁导致性能下降。
3. 读取
Select方法
标准读取还是用select方法，ADO.NET直接读取。
使用adapter方式，耗时135.39s；使用dbreader方式，耗时71.62s。
Copy方法
postgresql的copy方法提供stdout binary方式，可以指定一条查询进行输出，耗时53.20s。 public List<(int x, int y, int z)> BulkIQueryNpg() { List<(int, int, int)> dict = new List<(int, int, int)>(); using (var reader = ((NpgsqlConnection)_conn).BeginBinaryExport("COPY (select x,y,z from mesh) TO STDOUT (FORMAT BINARY)")) { while (reader.StartRow() != -1) { var x = reader.Read<int>(NpgsqlDbType.Integer); var y = reader.Read<int>(NpgsqlDbType.Integer); var z = reader.Read<int>(NpgsqlDbType.Integer); dict.Add((x, y, z)); } } return dict; }
结论
总结测试结果，对于较多数据的情况下，可以得出以下结论：
向空数据表导入或者没有重复数据表的导入，优先使用COPY语句（为什么有这个前提详见P.S.）；
使用一条语句插入多条数据的方式能够大幅度改善插入性能，可以实验确定最优条数；
使用transaction或者prepare插入，在本场景中优化效果不明显；
使用多连接/多线程操作，速度上有优势，但是把握不好容易造成资源占用率过高，连接数太大也容易影响其他应用；
写入更新是postgresql新特性，使用会造成一定的性能消耗（相对直接插入）；
读取数据时，使用COPY语句能够获得较好的性能；
ado.net dbreader对象由于不需要fill的过程，读取速度也较快（虽然赶不上COPY)，也可优先考虑。
P.S.
为什么不用mysql
没有最好的，只有最合适的，讲道理我也是挺喜欢用mysql的。使用postgresql的原因主要在于：
postgresql导入导出的sql指令“copy”直接支持Binary模式到stdin和stdout，如果程序想直接集成，那么用这个是比较方便的；相比较，mysql的sql语法（load data infile）并不支持到stdin或者stdout，导出可以通过mysqldump.exe实现，导入暂时没什么特别好的办法（mysqlimport或许可以）。
相较于mysql缺点
postgresql使用copy导入的时候，如果目标表已经有数据，那么在有主键约束的表遇到错误时，COPY自动终止，而且可能导致不完全插入的情况，换言之，是不支持导入的过程进行update操作；mysql的load语法可以显式指定出错之后的动作（IGNORE/REPLACE），不会打断导入过程。
其他
如果需要使用mysql从程序导入数据，可以考虑先通过程序导出到文件，然后借助文件进行导入，据说效率也要比insert高出不少。