Redisのバッファオーバーフローを解決する方法

#バッファはメモリ空間の一部です。つまり、メモリ空間には入出力データをバッファするための一定量の記憶領域が確保されており、この確保された領域をバッファと呼びます。

1. Redis バッファ オーバーフローの影響

Redis では、バッファの概念を使用する 3 つの主なシナリオがあります。

クライアントとサーバー間の通信時に、クライアントから送信されたコマンドデータを一時的に保存したり、サーバーからクライアントに返されたデータ結果をマスターノードとスレーブノード間で同期するために使用されます。 Redis バッファを使用して、マスター ノードが受信した書き込みコマンドとデータを一時的に保存します。Redis が AOF 永続化を実行するとき、Redis はバッファの概念も使用して、頻繁なディスク書き込みを回避します。

バッファの概念は、もともとオペレーティング システムで使用されていました。 CPU と I/O デバイス間の速度の不一致の矛盾は、CPU と I/O デバイスの並列処理を改善することで解消されます。

高速機器と低速機器の不一致により、必然的に高速機器が低速機器の待機に時間を費やすことになります。バッファの概念は、この問題を非常にうまく解決できます。バッファは、生産者/消費者モデルの重要な実施形態でもあります。

1. バッファ オーバーフローによりネットワーク接続が閉じる

qubf-free が枯渇すると、クライアント入力バッファ オーバーフローが発生し、Redis 処理が行われます。クライアント接続を閉じると、ビジネス プログラムはデータにアクセスできなくなります。

2. バッファ オーバーフローにより、コマンド データの損失またはクラッシュが発生します。

通常、クライアント接続が多数あり、クライアント接続によって占有される合計メモリが Redis の maxmemory を超えると、Redis が構成されます。データ削除を実行するためにトリガーされます。これは、ビジネス プログラムのアクセス パフォーマンスに影響を与えます。

クライアントが複数ある場合でも、Redis が大量のメモリを消費する可能性があり、メモリ オーバーフローの問題が発生して Redis がクラッシュする可能性もあります。

2. クライアント バッファ

さらに 2 つのクライアント バッファ、入力バッファと出力バッファがあり、どちらもリクエストの送信速度と処理速度が異なるという問題を解決するために設計されています。クライアントとサーバーの設定内容が一致します。

入力バッファは、クライアントから送信されたコマンドを一時的に保存します。オーバーフローの一般的な理由は 2 つあります:

数百万のハッシュや集計などの BigKey の書き込みデータが一度に書き込まれるため、バッファのサイズを超えます。サーバーのリクエストの処理が遅すぎるため、ブロッキングが発生し、リクエストをタイムリーに処理できなくなります。その結果、クライアントから送信されたリクエストがバッファに蓄積されます。

出力バッファには、Redis メイン スレッドによってクライアントに返されるデータが一時的に保存されます。

このデータには、単純で固定サイズの OK 応答 (SET コマンドの実行など) やエラー メッセージに加え、サイズが固定されておらず特定のデータを含む実行結果 (たとえば、SET コマンドの実行など) が含まれます。 HGET コマンド)

出力バッファ オーバーフローの一般的な原因は 3 つあります。

大量の BigKey 結果を返す 不当なコマンドの実行 不当なバッファ サイズ設定

入力と出力からバッファ オーバーフローの一般的な原因から判断すると、BigKey がオーバーフローの原因である可能性が最も高いため、BigKey の使用を避ける必要があります。

入力バッファについては、そのサイズを変更する方法がないため (デフォルトはクライアントごとに 1G)、可能な限りブロックを避けるためにコマンドの送信速度と処理速度を制御することしかできません。

出力バッファーについては、KEYS、MONITOR など、大量の結果を返すコマンドの使用を避けてください。同時に、出力バッファーのサイズを調整することでオーバーフローを回避できます。

3. コピー バッファ

コピー バッファは、Redis マスター ノードとスレーブ ノード間のコピーに使用されます。マスター ノードとスレーブ ノード間のデータ レプリケーションには、完全レプリケーションと増分レプリケーションが含まれるためです。したがって、コピー バッファもコピー バッファとコピー バックログ バッファの 2 種類に分かれます。

1. バッファのコピー

完全なレプリケーション プロセス中、マスター ノードは、RDB ファイルをスレーブ ノードに送信しながら、クライアントから送信された書き込みコマンド リクエストを受信し続けます。これらの書き込みコマンドは、まずレプリケーション バッファに保存され、RDB ファイル転送が完了した後にスレーブ ノードに送信されて実行されます。マスター ノードとスレーブ ノード間のデータ同期を確実にするために、各スレーブ ノードはマスター ノード上にレプリケーション バッファーを維持します。

レプリケーションバッファの場合、メインライブラリによるRDBファイルの転送とスレーブライブラリからのRDBファイルのロードに時間がかかり、同時に、メイン ライブラリが大量の書き込みコマンド操作を受信すると、レプリケーションが発生します。バッファがいっぱいになり、オーバーフローしました。

レプリケーション バッファ オーバーフローを回避するために、一方ではマスター ノードによって保存されるデータの量を制御できます。これにより、RDB ファイルの送信とスレーブ ライブラリのロード時間を高速化し、過剰な蓄積を回避できます。レプリケーションバッファの順序。

オーバーフローを回避するために、マスター ノードのデータ量、マスター ノードの書き込み負荷圧力、およびマスター ノード自体のメモリ サイズに基づいて、オーバーフローを回避するためにレプリケーション バッファーのサイズをより合理的に設定することもできます。さらに、マスター ノードはレプリケーション バッファーを設定するため、クラスター内のスレーブ ノードの数が非常に多い場合、マスター ノードのメモリ オーバーヘッドが非常に大きくなります。スレーブノードが多すぎます。

2. レプリケーション バックログ バッファ

増分レプリケーション プロセス中、マスター ノードとスレーブ ノードが定期的に同期を実行すると、書き込みコマンドはレプリケーション バッファーに一時的に保存されます。スレーブ ノードとマスター ノードの間でネットワーク切断が発生した場合、スレーブ ノードが再接続された後、まだレプリケートされていないコマンド操作をレプリケーション バックログ バッファから同期できます。

コピー バックログ バッファは、サイズが制限されたリング バッファであることに注意してください。

マスター ノードがレプリケーション バックログ バッファーをいっぱいにすると、バッファー内の古いコマンド データが上書きされます。このとき、マスターノードとスレーブノードのデータは不整合になります。

この問題に対処するための一般的な解決策は、コピー バックログ バッファのサイズを増やすことです。このサイズは通常、

を使用して計算できます。同時リクエストの数が非常に多い場合は、調整してください。バッファー 領域サイズ法で解決できない場合は、スライス クラスター法を使用して解決することを検討できます。

4. AOF バッファ

AOF バッファーは、AOF で Redis によって設定されるバッファーです。 AOF バッファには、AOF バッファと AOF リライト バッファの 2 種類があります。

1. AOF バッファ

ソリッド ステート ドライブであっても、その読み取りおよび書き込み速度がメモリの速度とは大きく異なることは誰もが知っています。 AOF バッファは、メイン プロセスのコマンド実行速度とディスクの書き込み速度の同期の問題を解決するために主に Redis によって設定され、ハードディスクの頻繁な読み取りと書き込みを効果的に回避し、パフォーマンスを向上させることができます。 AOF 永続化を実行する場合、Redis は最初にコマンドを AOF バッファーに書き込み、次にライトバック ポリシーに従ってハード ディスクの AOF ファイルに書き込みます。

AOF バッファのオーバーフローは、ディスクの書き込み速度または AOF ライトバック戦略に関連している可能性があります。大量のコマンドが AOF バッファにバックログされ、しきい値を設定するとバッファ オーバーフローが発生しますが、この問題を回避するには、ライトバック ストラテジを調整するか、AOF バッファ サイズを調整することで解決できます。

2. AOF リライト バッファ

AOF リライト バッファは、Redis が子プロセスで AOF リライトを実行するときに使用されます。親プロセスが新しいコマンドを受け入れると、コマンドが書き込まれます。AOF リライトを入力してください。バッファを作成し、サブプロセスの書き換えが完了するまで待ち、AOF バッファ書き換えコマンドを新しい AOF ファイルに追加します。

AOF 書き換えバッファのオーバーフローは、AOF 書き換え中にメイン プロセスによって処理されるコマンドの数に関連します。 AOF書き換え、これらのコマンドはAOF書き換えバッファに書き込まれますが、設定した閾値を超えるとオーバーフローが発生します。

AOF 書き換えバッファのオーバーフローを回避するには、AOF 書き換えバッファのサイズを調整することで解決することもできます。

以上がRedisのバッファオーバーフローを解決する方法の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。