Redis 研究ノート - 文字列の原則

String は Redis の最も基本的なデータ型です。すべてのキーが文字列型であるだけでなく、他のいくつかのデータ型で構成される要素も文字列型です。文字列。文字列の長さは 512M を超えることができないことに注意してください。

まず、512Mを超えてはいけないと誰が定めたのでしょうか？あるいは、なぜ 512M を超えないのでしょうか?

// 源码定义（检查字符串长度）
static int checkStringLength(redisClient *c, long long size) {
    if (size > 512*1024*1024) {
        addReplyError(c,"string exceeds maximum allowed size (512MB)");
        return REDIS_ERR;
    }
    return REDIS_OK;
}

ソース コード チェックによって修正され、512 M を超えることはできません。

redis 文字列構造を見てみましょう:

struct sdshdr{
    // 记录 buf 数组中已使用字节的数量
    // 等于 SDS 所保存字符串的长度
    int len;
    // 记录 buf 数组中未使用字节的数量
    int free;
    // 字节数组，用于保存字符串
    char buf[];
}

int が 32 ビットであることが直接わかります。つまり、最大 4G文字列もサポートできますが、そうではありません。

なぜ 512 M を超えることができないのかを調べるために、公式の答えを見つけました。

# #そして、私が読んだ Redis 情報が古いことに気づきました。

话不多说，继续学习 redis5.0 版本的资料。不过之前学习了的也没事，我们可以一起来看下 redis 的字符串是怎么优化的。

用如下结构来存储长度小于32的短字符串：

struct __attribute__((__packed__)) sdshdr5 {
        unsigned char flags; /* 低3位存储类型，高5位存储长度*/
        char buf[]; /* 柔性数组，存放实际内容*/
}

sdshdr5 结构中，flags占1个字节，其低3位（bit）表示type，高5位（bit）表示长度，能表示的长度区间为0～31（25-1）, flags后面就是字符串的内容。

而对于长度大于31的字符串，这个结构就不够用了，所以对于不同长度的字符串，有不同的处理方式：

#define SDS_TYPE_5  0
#define SDS_TYPE_8  1
#define SDS_TYPE_16 2
#define SDS_TYPE_32 3
#define SDS_TYPE_64 4

struct __attribute__ ((__packed__)) sdshdr8 {
    uint8_t len; /* used */
    uint8_t alloc; /* excluding the header and null terminator */
    unsigned char flags; /* 3 lsb of type, 5 unused bits */
    char buf[];
};
struct __attribute__ ((__packed__)) sdshdr16 {
    uint16_t len; /* used */
    uint16_t alloc; /* excluding the header and null terminator */
    unsigned char flags; /* 3 lsb of type, 5 unused bits */
    char buf[];
};
struct __attribute__ ((__packed__)) sdshdr32 {
    uint32_t len; /* used */
    uint32_t alloc; /* excluding the header and null terminator */
    unsigned char flags; /* 3 lsb of type, 5 unused bits */
    char buf[];
};
struct __attribute__ ((__packed__)) sdshdr64 {
    uint64_t len; /* used */
    uint64_t alloc; /* excluding the header and null terminator */
    unsigned char flags; /* 3 lsb of type, 5 unused bits */
    char buf[];
};

可以看到，这4种结构的成员变量类似，唯一的区别是len和alloc的类型不同。

结构体中4个字段的具体含义分别如下:

1）len：表示buf中已占用字节数。

2）alloc：表示buf中已分配字节数，不同于free，记录的是为buf分配的总长度。

3）flags：标识当前结构体的类型，低3位用作标识位，高5位预留。

4) buf: 柔軟な配列、実際に文字列を格納するデータ空間。

文字列作成プロセス:

Redis は sdsnewlen 関数を通じて SDS を作成します。関数では、文字列の長さに基づいて適切な型が選択されます。対応する統計値を初期化した後、文字列の内容へのポインタが返され、文字列の長さに基づいてさまざまな型が選択されます。 。

sdshdr5 型の場合、空の文字列を作成すると、sdshdr8 にキャストされます。理由は、空文字列を作成した後、その内容が頻繁に更新されて拡張する可能性があるため、作成時に直接 sdshdr8 として作成されるためと考えられます。

文字列の結合:

sdscatsds は上位層に公開されるメソッドであり、最終的に sdscatlen を呼び出します。 SDS の展開が関係する可能性があるため、sdscatlen で sdsMakeRoomFor を呼び出して、結合された文字列 s の容量を確認します。展開が必要ない場合は s を直接返し、展開が必要な場合は展開された新しい文字列 s を返します。関数内の len やcurlen などの長さの値にはターミネータが含まれていません。スプライシングの際には、memcpy を使用して 2 つの文字列を結合し、関連する長さが指定されるため、このプロセスによりバイナリ セキュリティが確保されます。最後にターミネータを追加する必要があります。

文字列展開

1. sds で利用可能な残りの空き長さが新しいコンテンツ アドレンの長さより大きい場合、直接追加 柔軟な配列 buf の末尾に追加するだけで、展開は必要ありません。

2. SD で利用可能な残りの空き長さが、新しく追加されたコンテンツ アドレンの長さ以下である場合は、ケースバイケースで議論してください。追加後の長さが len addlen1MB の場合、新しい長さに 1MB を加えた値に従って容量が拡張されます。

3. #最後に、新しい長さに基づいてストレージ タイプを再選択し、スペースを割り当てます。ここで型を変更する必要がない場合は、realloc を通じてフレキシブル配列を拡張するだけです。そうでない場合は、メモリを再度開き、元の文字列の buf コンテンツを新しい場所に移動する必要があります。

#文字列には、おおよそ次の内容が含まれます。

バージョン 5.0 では、512M の文字列制限はありません。文字列の処理方法はタイプに応じて異なり、より多くのメモリを節約できます。