mysql 数千万のデータページングクエリパフォーマンスの最適化

mysql 数千万のデータページングクエリパフォーマンスの最適化_Mysql

小云云

リリース： 2017-12-08 09:22:00

オリジナル

2363 人が閲覧しました

MySQL はデータ量が多い場合に制限ページングを使用します。ページ数が増えるとクエリ効率が低下します。この記事では、mysql を使用して数千万のデータに対してページングクエリを実行する場合の著者のパフォーマンス最適化方法を紹介します。これは非常に優れた記事であり、皆さんのお役に立てれば幸いです。

実験

1.limit start, count ページングステートメントを直接使用します:

select * from order limit start, countselect * from order limit start, count

当起始页较小时，查询没有性能问题，我们分别看下从10， 100， 1000， 10000开始分页的执行时间（每页取20条），如下：

select * from order limit 10, 20 0.016秒

select * from order limit 100, 20 0.016秒

select * from order limit 1000, 20 0.047秒

select * from order limit 10000, 20 0.094秒

ログイン後にコピー

我们已经看出随着起始记录的增加，时间也随着增大，这说明分页语句limit跟起始页码是有很大关系的，那么我们把起始记录改为40w看下

select * from order limit 400000, 20 3.229秒

再看我们取最后一页记录的时间

select * from order limit 800000, 20 37.44秒

显然这种时间是无法忍受的。

从中我们也能总结出两件事情：

1）limit语句的查询时间与起始记录的位置成正比

2）mysql的limit语句是很方便，但是对记录很多的表并不适合直接使用。

2.对limit分页问题的性能优化方法

利用表的覆盖索引来加速分页查询

我们都知道，利用了索引查询的语句中如果只包含了那个索引列（覆盖索引），那么这种情况会查询很快。

因为利用索引查找有优化算法，且数据就在查询索引上面，不用再去找相关的数据地址了，这样节省了很多时间。另外Mysql中也有相关的索引缓存，在并发高的时候利用缓存就效果更好了。

在我们的例子中，我们知道id字段是主键，自然就包含了默认的主键索引。现在让我们看看利用覆盖索引的查询效果如何：

这次我们之间查询最后一页的数据（利用覆盖索引，只包含id列），如下：

select id from order limit 800000, 20 0.2秒

相对于查询了所有列的37.44秒，提升了大概100多倍的速度

那么如果我们也要查询所有列，有两种方法，一种是id>=的形式，另一种就是利用join，看下实际情况：

SELECT * FROM order WHERE ID > =(select id from order limit 800000, 1) limit 20

查询时间为0.2秒，简直是一个质的飞跃啊，哈哈

另一种写法

SELECT * FROM order a JOIN (select id from order limit 800000, 20) b ON a.ID = b.id

開始ページが小さい場合、パフォーマンスの問題はありません。次のように、10、100、1000、10000 (ページごとに 20 レコードを取る) から始まるページングの実行時間をそれぞれ調べます。

rrreee

開始レコードが増加すると、時間も増加します。これは、ページングステートメントの制限が開始ページ番号と密接に関係していることを示しています。そこで、開始レコードを 40w に変更して見てみましょう

select * from order limit 400000, 20 3.229 秒 レコードの最後のページを取得するのにかかった時間を見てください

select * from order limit 800000, 20 37.44 秒明らかにこのような時間です耐えられない。

これから 2 つのことが結論付けられます: 1) limit ステートメントのクエリ時間は、開始レコードの位置に比例します

🎜2) mysql の limit ステートメントは非常に便利ですが、次のことに適していません。多くのレコードを含むテーブルを直接使用します。 🎜🎜2. ページング制限の問題に対するパフォーマンスの最適化方法🎜🎜テーブルのカバーインデックスを使用してページングクエリを高速化します🎜🎜インデックスクエリを使用するステートメントにそのインデックス列 (カバーインデックス) のみが含まれている場合、これはよく知られています。この状況はすぐに調査されます。 🎜🎜インデックス検索には最適化アルゴリズムがあり、データはクエリインデックス上にあるため、関連するデータアドレスを見つける必要がなく、時間を大幅に節約できます。また、Mysql には関連するインデックスキャッシュもあります。同時実行性が高い場合はキャッシュを使用することをお勧めします。 🎜🎜この例では、id フィールドが主キーであることがわかっているため、当然、デフォルトの主キーインデックスが含まれています。ここで、カバリングインデックスを使用したクエリがどのように実行されるかを見てみましょう: 🎜🎜今回は、次のように、最後のページのデータをクエリします (カバリングインデックスを使用し、id 列のみを含みます): 🎜🎜select id from order limit 800000 , 20 0.2 秒🎜🎜すべての列をクエリする場合の 37.44 秒と比較すると、約 100 倍の速度になります🎜🎜つまり、すべての列をクエリしたい場合は、2 つの方法があります。1 つは id> です。 = もう 1 つの形式は、join を使用して実際の状況を確認することです: 🎜🎜SELECT * FROM order WHERE ID > =(select id from order limit 800000, 1) limit 20🎜🎜クエリ時間は次のとおりです。 0.2 秒は単なる質的飛躍です (笑)🎜🎜別の書き方🎜🎜

SELECT * FROM order a JOIN (select id from order limit 800000, 20) b ON a.ID = b.id code>🎜 🎜クエリ時間も非常に短いです。 🎜🎜もう学びましたか？急いで試してみてください。 🎜🎜関連する推奨事項: 🎜🎜🎜mysql 数千万のデータクエリ🎜🎜🎜🎜mysql 数千万のカウント統計比較_MySQL🎜🎜🎜🎜MySQL 100 万レベルのページング最適化 (Mysql 数千万の高速ページング)_MySQL🎜🎜

以上がmysql 数千万のデータページングクエリパフォーマンスの最適化_Mysqlの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。