java - mysql单表流水500W数据多维度统计的方案
黄舟
黄舟 2017-05-19 10:07:03
0
4
819

现在项目中有张流水表结构大概如下
id sdkVersion jarVersion countryCode imei createTime

以前的需求是按sdkVersion,jarVersion,countryCode的分组求总数和imei排重后的总数,大致sql如下:

select sdkVersion,jarVersion,countryCode,count(*),count(distinct imei) from xxx where createTime = 'xxxx-xx-xx' group by sdkVersion,jarVersion,countryCode

查出前一天的所有数据然后汇总到一张表里,结构大概如下

id sdkVersion jarVersion countryCode count(*) count(distinct imei) createTime

然后现在的需求是要任意纬度的组合查询,就是可以
group by sdkVersion
group by jarVersion
group by countryCode
group by sdkVersion,countryCode
等等各种组合,如果按以前的每日汇总方案的话就要为不同的纬度组合建立很多个表,有什么好的方案可以解决这种问题?或者是用专门的统计框架可以解决的?

黄舟
黄舟

人生最曼妙的风景,竟是内心的淡定与从容!

全部回复 (4)
仅有的幸福

楼主可以去看看PipelineDB流式数据库

    黄舟

    apache kylin, 亚秒级olap

      曾经蜡笔没有小新

      每日汇总的话,实时性要求并不高,500W 记录也还在可以处理的范围内,视图 + 定时计划,可以满足要求,不需要建多表。
      题主最好能说明一下有什么瓶颈或者痛点,毕竟 mysql 是个成熟产品,换用新锐技术有一定风险。

        黄舟

        写存储过程,每天定时跑就行了

          最新下载
          更多>
          网站特效
          网站源码
          网站素材
          前端模板
          关于我们 免责声明 Sitemap
          PHP中文网:公益在线PHP培训,帮助PHP学习者快速成长!