经验首页 前端设计 程序设计 Java相关 移动开发 数据库/运维 软件/图像 大数据/云计算 其他经验
当前位置:技术经验 » 数据库/运维 » MySQL » 查看文章
mysql 循环批量插入
来源:cnblogs  作者:昔时半夏  时间:2019/5/27 10:48:18  对本文有异议

背景

前几天在MySql上做分页时,看到有博文说使用 limit 0,10 方式分页会有丢数据问题,有人又说不会,于是想自己测试一下。测试时没有数据,便安装了一个MySql,建了张表,在建了个while循环批量插入10W条测试数据的时候,执行时间之长无法忍受,便查资料找批量插入优化方法,这里做个笔记。

数据结构

寻思着分页时标准列分主键列、索引列、普通列3种场景,所以,测试表需要包含这3种场景,建表语法如下:

  1. drop table if exists `test`.`t_model`;
  2. Create table `test`.`t_model`(
  3. `id` bigint NOT NULL AUTO_INCREMENT COMMENT '自增主键',
  4. `uid` bigint COMMENT '业务主键',
  5. `modelid` varchar(50) COMMENT '字符主键',
  6. `modelname` varchar(50) COMMENT '名称',
  7. `desc` varchar(50) COMMENT '描述',
  8. primary key (`id`),
  9. UNIQUE index `uid_unique` (`uid`),
  10. key `modelid_index` (`modelid`) USING BTREE
  11. ) ENGINE=InnoDB charset=utf8 collate=utf8_bin;

为了方便操作,插入操作使用存储过程通过while循环插入有序数据,未验证其他操作方式或循环方式的性能。

执行过程

1、使用最简单的方式直接循环单条插入1W条,语法如下:

  1. drop procedure if exists my_procedure;
  2. delimiter //
  3. create procedure my_procedure()
  4. begin
  5. DECLARE n int DEFAULT 1;
  6. WHILE n < 10001 DO
  7. insert into t_model (uid,modelid,modelname,`desc`) value (n,CONCAT('id20170831',n),CONCAT('name',n),'desc');
  8. set n = n + 1;
  9. END WHILE;
  10. end
  11. //
  12.                
  13. delimiter ;

插入1W条数据,执行时间大概在6m7s,按照这个速度,要插入1000W级数据,估计要跑几天。
2、于是,构思加个事务提交,是否能加快点性能呢?测试每1000条就commit一下,语法如下:

  1. delimiter //
  2. create procedure u_head_and_low_pro()
  3. begin
  4. DECLARE n int DEFAULT 17541;
  5. WHILE n < 10001 DO
  6. insert into t_model (uid,modelid,modelname,`desc`) value (n,CONCAT('id20170831',n),CONCAT('name',n),'desc');
  7. set n = n + 1;
  8. if n % 1000 = 0
  9. then
  10. commit;
  11. end if;
  12. END WHILE;
  13. end
  14. //
  15. delimiter ;

执行时间 6 min 16 sec,与不加commit执行差别不大,看来,这种方式做批量插入,性能是很低的。

3、使用存储过程生成批量插入语句执行批量插入插入1W条,语法如下:

  1. drop procedure IF EXISTS u_head_and_low_pro;
  2. delimiter $$
  3. create procedure u_head_and_low_pro()
  4. begin
  5. DECLARE n int DEFAULT 1;
  6. set @exesql = 'insert into t_model (uid,modelid,modelname,`desc`) values ';
  7. set @exedata = '';
  8. WHILE n < 10001 DO
  9. set @exedata = concat(@exedata,"(",n,",","'id20170831",n,"','","name",n,"','","desc'",")");
  10. if n % 1000 = 0
  11. then
  12. set @exesql = concat(@exesql,@exedata,";");
  13. prepare stmt from @exesql;
  14. execute stmt;
  15. DEALLOCATE prepare stmt;
  16. commit;
  17. set @exesql = 'insert into t_model (uid,modelid,modelname,`desc`) values ';
  18. set @exedata = "";
  19. else
  20. set @exedata = concat(@exedata,',');
  21. end if;
  22. set n = n + 1;
  23. END WHILE;
  24. end;$$
  25. delimiter ;

执行时间 3.308s。

总结

批量插入时,使用insert的values批量方式插入,执行速度大大提升。

原文链接:http://www.cnblogs.com/xsbx/p/10929069.html

 友情链接:直通硅谷  点职佳  北美留学生论坛

本站QQ群:前端 618073944 | Java 606181507 | Python 626812652 | C/C++ 612253063 | 微信 634508462 | 苹果 692586424 | C#/.net 182808419 | PHP 305140648 | 运维 608723728

W3xue 的所有内容仅供测试,对任何法律问题及风险不承担任何责任。通过使用本站内容随之而来的风险与本站无关。
关于我们  |  意见建议  |  捐助我们  |  报错有奖  |  广告合作、友情链接(目前9元/月)请联系QQ:27243702 沸活量
皖ICP备17017327号-2 皖公网安备34020702000426号