Heim > Datenbank > MySQL-Tutorial > Hauptteil

上千万记录分布存储的批量查询设计模式_MySQL

WBOY
Freigeben: 2016-06-01 14:01:21
Original
1153 Leute haben es durchsucht

我们知道可以将一个海量记录的 MySQL 大表根据主键、时间字段,条件字段等分成若干个表甚至保存在若干服务器中。

  唯一的问题就是跨服务器批量查询麻烦,只能通过应用程序来解决。谈谈在Java中的解决思路。其他语言原理类似。

  这里说的分表不是 MySQL 5.1 的 partition,而是人为把一个表分开存在若干表或不同的服务器。

  1. 应用程序级别实现
见示意图

  MySQL分表实现上百万上千万记录分布存储的批量查询设计模式SelectThreadManager 分表数据查询管理器

  它为分表的每个database or server 建立一个 thread pool

  addTask() - 添加任务

  stopTask() - 停止任务

  getResult() - 获取执行结果

  最快的执行时间 = 最慢的 MySQL 节点查询消耗时间

  最慢的执行时间 = 超时时间

  某个 ThreadPool 忙时候处理流程

  1. 假如 ThreadPoolN 非常忙,(也意味 DB N 非常忙);

  2. 新的查询任务到来,addTask(), 新的任务的一个thread加到ThreadPoolN任务排队中

  3. 外层应用已经获得其他 thread 返回结果,继续等待

4. 外层应用等待超时的时间到,调用 stopTask() 设置该任务全部 thread 中的停止标志, 外层应用返回。

  5. 若干时间后,ThreadPoolN取到该排队 Thread, 因为设置了停止位,线程直接运行完成。

  2. JDBC 层实现

  做一个 JDBC Driver 的包装,拦截 PreparedStatement, Statement 的 executeQuery()

  然后调用 SelectThreadManager 完成

  3. MySQL partition

  MySQL 5.1 的 partition 功能由于单张表的数据跨文件,批量查询时候同样存在上述问题,不过它是在 MySQL 内部实现的,不需要外部调用者关心。其查询实现的原理应该大致类似。

  但 partition 只解决了 IO 的瓶颈,并不能解决 CPU 计算的瓶颈,因此无法代替传统的手工分表方式

Verwandte Etiketten:
Quelle:php.cn
Erklärung dieser Website
Der Inhalt dieses Artikels wird freiwillig von Internetnutzern beigesteuert und das Urheberrecht liegt beim ursprünglichen Autor. Diese Website übernimmt keine entsprechende rechtliche Verantwortung. Wenn Sie Inhalte finden, bei denen der Verdacht eines Plagiats oder einer Rechtsverletzung besteht, wenden Sie sich bitte an admin@php.cn
Beliebte Tutorials
Mehr>
Neueste Downloads
Mehr>
Web-Effekte
Quellcode der Website
Website-Materialien
Frontend-Vorlage
Über uns Haftungsausschluss Sitemap
Chinesische PHP-Website:Online-PHP-Schulung für das Gemeinwohl,Helfen Sie PHP-Lernenden, sich schnell weiterzuentwickeln!