Pika: 大容量 Redis ストレージに適用可能なシナリオを補足します

pika は、360 Web プラットフォーム部門の DBA とインフラストラクチャ チームによって開発された大容量 Redis ライク ストレージです。pika の登場は、Redis を置き換えるものではなく、Redis シナリオを補完するものです。 Pika は、Redis プロトコルとの完全互換を前提とし、Redis の利便性の高い運用保守設計を継承し、大容量シナリオにおける Redis の課題である復旧時間の遅さ、マスター/スレーブのコストの高さなどを永続ストレージによって解決することを目指しています。同期、比較的壊れやすいシングルスレッド、耐荷重性、データ制限、メモリコストの高さなど。

Binlog 関連ファイルには、マニフェストと write2file の 2 つの部分が含まれています。マニフェストは、現在のログ ファイル番号と現在のログ ファイル オフセットを含むログ メタ情報を記録します。write2file num は、pika が受信したすべての redis 書き込みコマンドとパラメータを記録します。

マニフェスト ファイル形式:

ログ オフセット (8 バイト)|con_offset (8 バイト、未使用)|要素数 (4 バイト、未使用)|ログ ファイル番号 (4 バイト)。

バイログ ファイル形式:

Binlog ファイルの固定サイズは 100MB です。各 Binlog ファイルは複数のブロックで構成されています。各ブロックのサイズは 64KB に固定されています。各書き込み redis コマンドはレコードと呼ばれます。レコードは複数のブロックに分散できますが、1 つの Binlog ファイルにのみ分散されるため、Binlog ファイルは 100MB より大きくなる可能性があります。

レコード形式: Header|Cmd

ヘッダー: レコード長 (3 バイト) | タイムスタンプ (4 バイト) | レコード タイプ (1 バイト)。

Cmd: 現在のブロックの残りのスペースにレコードを保存できるかどうかに応じて、redis コマンドの一部またはすべて。

ベーシッククラス

バージョン: mmap およびマニフェスト ファイルを通じてマップされたメタ情報クラス。

Binlog: mmap および write2file ファイルを通じてマップされたログ クラス。

PikaBinlogSenderThread: ログ消費クラス。ログ ファイルの内容を順次読み取り、ログを消費します。

Binlog の構築

//file_size は構成ファイルで指定できます。デフォルトは 100MBです。

Binlog::Binlog(const std::string& binlog_path, const int file_size)

1.1binlog ファイルのディレクトリを作成します。

1.2 ログディレクトリにマニフェストファイルが存在するか確認し、存在しない場合は新規作成してください。

1.3 マニフェスト ファイルに従って Version クラスを初期化します。

1.4 マニフェスト内の filenum に従って対応するログ ファイルを検索し、pro_offset に従ってファイルの追加位置を特定し、ログ ポインタを初期化し、ログの内容の長さとブロック ブロックの数を記録します。

現在のログ生成ステータスを更新します

//pro_num: ログファイル番号

//pro_offset: ログ ファイルのオフセット

//完全同期が必要な場合に、スレーブ インスタンスに対応するバイナリログ情報を更新するために使用されます

ステータス Binlog::SetProducerStatus(uint32_t pro_num, uint64_t pro_offset)

2.1 write2file0 を削除します。

2.2 write2file pro_num を削除します。

2.3 新しい write2file pro_num ファイルを構築し、pro_offset スペースを埋め、version->pro_num を pro_num に、version->pro_offset を pro_offset に初期化し、それをマニフェスト ファイルに更新します。

2.4 現在のファイルサイズと block_offset を初期化します。

現在のログ生成ステータスを更新します

//filenum: 現在のログ番号

//pro_offset: 現在のログ オフセット

ステータス Binlog::GetProducerStatus(uint32_t* filenum, uint64_t* pro_offset)

3.1 version の pro_num と pro_offset を読み取って返します。

制作記録

//Put->Produce->EmitPhysicalRecord

ステータス Binlog::Put(const std::string &item)

4.1 現在のログファイルがカット条件を満たしているか確認し、満たしている場合はカットします。

4.1.1 pro_num は 1 増加し、新しいログ ファイルを初期化します (version->pro_num=pro_num、version->pro_offset = 0、binlog->filesize = 0、binlog->block_offset = 0)。

4.1.2 現在のブロックの残りのサイズが 4.1.3 Produce はループであり、アイテムのサイズが kBlockSize を超えたときに、EmitPhysicalRecord を複数回実行でき、アイテムのすべてのデータが binlog ファイルにドロップされることを保証します。ループが正常に終了するための条件左==0です。

以上がPika: 大容量 Redis ストレージに適用可能なシナリオを補足しますの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。