mysql如何實現循環插入千萬級數據

WJ
發布: 2020-06-03 16:36:57
原創
4236 人瀏覽過

mysql如何實現循環插入千萬級數據

mysql如何實現循環插入千萬級資料?

1.建表:

CREATE TABLE `mysql_genarate` ( `id` int(11) NOT NULL AUTO_INCREMENT, `uuid` varchar(50) DEFAULT NULL, PRIMARY KEY (`id`) ) ENGINE=InnoDB AUTO_INCREMENT=5990001 DEFAULT CHARSET=utf8
登入後複製

2.建立一條循環插入的預存程序

create procedure test_two1() begin declare i int default 0; while i < 3000 do INSERT into mysql_genarate(uuid) VALUES(UUID()); set i = i + 1; end while; end #
登入後複製

使用 call test_two1(); 測試,3000條資料耗時74秒,如果是千萬級數據,這個速度將無法忍受。

所以我在網路上找了一下優化的方法,發現可以拼接批量插入的sql語句,速度提升很多;

3.優化後的預存程序

CREATE PROCEDURE insertPro(in sum INT)BEGINDECLARE count INT DEFAULT 0;DECLARE i INT DEFAULT 0; set @exesql = concat("insert into mysql_genarate(uuid) values"); set @exedata = ""; set count=0; set i=0;while count0 then set @exedata = SUBSTRING(@exedata, 2); set @exesql = concat("insert into mysql_genarate(uuid) values ", @exedata); prepare stmt from @exesql; execute stmt; DEALLOCATE prepare stmt;end if;end;
登入後複製

呼叫 call insertPro(3000) ,耗時零點幾秒,這個速度可以接受。

接著呼叫call insertPro(30000000) ;測試3000萬個資料插入,結果耗時1824.203s(30分鐘)。個人電腦這個速度可以了。

另外,採用java多執行緒同時拼接sql,每10000條提交一次的方式,在8個執行緒同時運行的情況下,3000萬個資料插入耗時336s,1億個資料插入耗時1087s。

相關參考:MySQL教學



####################################################

以上是mysql如何實現循環插入千萬級數據的詳細內容。更多資訊請關注PHP中文網其他相關文章!

相關標籤:
來源:php.cn
本網站聲明
本文內容由網友自願投稿,版權歸原作者所有。本站不承擔相應的法律責任。如發現涉嫌抄襲或侵權的內容,請聯絡admin@php.cn
作者最新文章
最新下載
更多>
網站特效
網站源碼
網站素材
前端模板
關於我們 免責聲明 Sitemap
PHP中文網:公益線上PHP培訓,幫助PHP學習者快速成長!