sharding - 数据库分库切表后Java后端代码实现以及最佳实践
过去多啦不再A梦
过去多啦不再A梦 2017-06-23 09:12:49
0
5
900

现在业务中由于一些表越来越大,read的时候压力很大(write的需求比较小),所以在数据库端决定把一些数据量特别大的表切表, 但是在后端代码中有很多代码/query需要做join这些表,请问这样的情况下大家是怎么样解决的?

比如我们现在有 SampleTable 有大概1亿条数据,我们根据逻辑切成了大概16个不同的表:SampleTable 1,SampleTable2...SampleTable31,
以前代码中有query 类似于:

select * from SampleTable join test_table

现在需要执行这样的query 多次然后把数据聚合起来做为返回结果吗?

select * from SampleTable1 join test_table

有没有更好的方法或者library推荐?有没有什么beset practice或者sample code?

如果之后我们要多个表拆分到不同的database server上,是否在后端代码得加上不同db 的数据库连接?

数据库Sharding的基本思想和切分策略
这篇文章更多的是数据库切分的策略,是否有人能提供下实际的项目code sample?
Database sharding and JPA
what-to-do-instead-of-sql-joins-while-scaling-horizontally

stackoverflow 上的一些答案

过去多啦不再A梦
过去多啦不再A梦

全部回复 (5)
大家讲道理

可以考虑引入数据库中间件
sharding-jdbc client级别
mycat-server server级别

    世界只因有你

    朋友介绍 Spark 不错,支持 SQl 式的查询,1 亿条数据 0.5 秒左右返回结果

      ringa_lee

      只针对目前我们项目中的情况: 在分表时根据hash算法落到特定表,然后取的时候先根据算法获取数据的分布位置,然后就是正常的select了

        漂亮男人

        不建议连表查询
        1.数据库资源比较宝贵,连表查询会占用大量的内存,导致数据库性能下降
        2.不支持数据在多个数据库实例,分库情况无法处理,扩展性较差

        通用做法是将连表查询,查分成多个单表查询,然后将结果在应用中汇总。
        1.能够上述连表查询的问题
        2.多次查询也可以在程序中对每一次查询的中间结果做处理,这是一个灵活性。
        3.应用也可以随时扩展,更加灵活

        如果是离线场景,建议使用MR(mapreduce)框架来处理,例如:hadoop等,相应的,需要将数据写入到hdfs上。

          学霸

          http://blog.csdn.net/tianyale...
          详解分库分表

            最新下载
            更多>
            网站特效
            网站源码
            网站素材
            前端模板
            关于我们 免责声明 Sitemap
            PHP中文网:公益在线PHP培训,帮助PHP学习者快速成长!