mysql - php 批量插入10w 条内容导致内存撑爆128mb 怎么处理?
PHPz
PHPz 2017-06-05 11:07:07
0
3
846

因为有一个业务设计到批量生成记录,一次性生成10w条内容(内容大部分相同,有的字段需要生成随机码),需要怎么处理?

PHPz
PHPz

学习是最好的投资!

全部回复(3)
左手右手慢动作

那些说用异步,循环什么,个人觉得不合理.
10w条数据啊,你就算内存够大,数据存进数据库里也会占用很多时间(IO流),甚至如果事务提交没处理好数据库也会占用内存.

直接在数据库里直接生成数据才是最快的办法.
自己生成一张id表(只存id一个字段),记录10w条(0-10w)
mysql做法:

insert into table t
select i.id, concat('名字', i.id) name, 
    concat('随机生成码7-12:',FLOOR(7 + (RAND() * 6))) rand,
    ifnull(a.nickname, 'No nickname') nickname,
    uuid() descript, --随机字符串
    from_unixtime(unix_timestamp("20170101000000")+FLOOR((RAND()*60*60*24*365)))  --2017年中随机日期
from table_id i
left join table_account a on a.id=FLOOR((RAND()*12)) --如果数据来源另外一些表
where i.id < 1000  --如果只要生成1000条
Peter_Zhu

实在不愿意分批处理,ini_set('’memory_limit', '256M'); 一下?或者你服务器内存不吃紧的话设成 512M

Peter_Zhu

1.假如生成的数据用链式结构保存,建议优化数据结构,如假如大部分数据相同可以用键值保存相同数据,跟住用子键值保存不同的数据(即求同存异)

array (0=>array('data'=>array('name'=>'t','age'=>'14),'key'=>array('1','2' ,'3','4')));
foreach($array as $val) {

foreach($val['key']=>$kval) {
    var_dump($kval);
    var_dump($val);
}

}

2.一次性保存10条数据,对mysql服务器压力加重,建议优化insert代码,如
insert into table values('t','a',1),('t','a',2)

3.建议开启事务,定量提交数据

热门教程
更多>
最新下载
更多>
网站特效
网站源码
网站素材
前端模板
关于我们 免责声明 Sitemap
PHP中文网:公益在线PHP培训,帮助PHP学习者快速成长!