巴扎黑 2017-04-11 09:53:46 0 3 479
[PHP讨论组] 举报 回复话题 ↕
数据量比较大的情况下如何统计总数？
比如一个表里面有500万条数据，传统的方式是count()，这样效率很低。
网上有人说用mysql的触发器，把统计结果插入到一个结果表里。
还有其他方法吗？比如异步执行的方式插入到一个mysql的结果表里可以吗？
或者统计结果放入redis可以吗？
还有说用定时执行的，但是我们这个使用场景要求实时计算总和。
3
0
分享
黄舟 采纳为最佳 2017-04-11 09:55:46 3楼
用memcache或redis记数就可以了。需要查count的时候先查memcache，如果没有的话就去数据库count，然后在设置上memcache，下次查memcache就有了，就不用去count了。
赞 +0 添加回复
迷茫 采纳为最佳 2017-04-11 09:55:46 2楼
可以新建一个表用来保存行数信息表名（主键）|数据量
触发器的时候如果插入数据，则对应表的数据量+1，如果删除数据则减1。
巴扎黑 采纳为最佳 2017-04-11 09:55:46 1楼
还有一种方案就是每次只计算1分钟的增量(根据你们业务对实时性的要求),上一次的统计值加上1分钟的增量就是现在的总数。当然这要看有没有对老数据进行删除的操作。我得这种方法跟通过向表里插入统计统计结果会有耦合。
我时倾向于用redis来存储,insert+1,delete-1。db没有什么压力,同时降低了耦合
黄舟 采纳为最佳 2017-04-11 09:55:46 3楼
用memcache或redis记数就可以了。
需要查count的时候先查memcache，如果没有的话就去数据库count，然后在设置上memcache，下次查memcache就有了，就不用去count了。
赞 +0 添加回复
迷茫 采纳为最佳 2017-04-11 09:55:46 2楼
可以新建一个表用来保存行数信息
表名（主键）|数据量
触发器的时候如果插入数据，则对应表的数据量+1，如果删除数据则减1。
赞 +0 添加回复
巴扎黑 采纳为最佳 2017-04-11 09:55:46 1楼
还有一种方案就是每次只计算1分钟的增量(根据你们业务对实时性的要求),上一次的统计值加上1分钟的增量就是现在的总数。当然这要看有没有对老数据进行删除的操作。我得这种方法跟通过向表里插入统计统计结果会有耦合。
我时倾向于用redis来存储,insert+1,delete-1。db没有什么压力,同时降低了耦合
赞 +0 添加回复