php - 在高并发下,怎样能给每个请求返回100条不重复的记录呢?
巴扎黑
巴扎黑 2017-04-11 09:08:10
0
2
256

mysql初学者,有个问题请教各位老师

现在有个表里有1000万条记录,需要全部读取出来执行业务一遍。
(每次读取100条,每条记录只能被读取一次,查询过的记录修改State为1)

现在我用的是乐观锁,先用php从mysql读取出没执行过的最后100条记录

SELECT * FROM `list` WHERE `State` = '0' LIMIT 100

然后一条一条修改State改成1,修改成功的,则是有效可用的,否则就是被其他线程抢先修改了

UPDATE `list` SET `State` = '1' WHERE `Id`='1' AND `State` = '0'

这样子,在并发低的情况下是挺好有的,但是在高并发下就不行了

因为同一时间查询的线程都是读取到的记录都是相同的,通过乐观锁过滤掉重复的记录后,
最后每个线程剩下的可用记录就少得可怜……

请问各位老师,怎样能在高并发访问的情况下,怎样能给每个请求返回100条不重复的记录呢?
(不一定能全返回100条,尽可能多就行)

巴扎黑
巴扎黑

全部回覆 (2)
左手右手慢动作

首先赞一下楼主。这是个很好的乐观锁应用场景。很好的提问。感谢!

直接

'UPDATE `list` SET `State` = '1' WHERE `State` = '0' LIMIT 100;'

就获取并锁定了100条。也保证了其他进程无法再拿到这100条数据了。

咦。。等等,我们是锁定了。但是我们不知道这100条数据的id啊。看来这样行不通。

除非我们加个字段,UPDATE的时候,顺便把这100条数据打上我这个进程的标记:

'UPDATE `list` SET `State` = '1', `pid` = ' . getmypid() . ' WHERE `State` = '0' LIMIT 100;'

锁定了之后,再:

'SELECT * FROM `list` WHERE `pid` = ' . getmypid() . ' LIMIT 100'

来拿到这100条数据。处理完了再:

'UPDATE `list` SET `pid` = ' . getmypid() . ' WHERE `pid` = '0''

好了。这就实现了。但是总感觉不够优雅。

    伊谢尔伦

    如果每次先从Redis里拿上次的最大id,不就可以了,所有线程访问同一个Redis,然后where id >redis获取的值

      最新下載
      更多>
      網站特效
      網站源碼
      網站素材
      前端模板
      關於我們 免責聲明 Sitemap
      PHP中文網:公益線上PHP培訓,幫助PHP學習者快速成長!