nota kajian redis-prinsip rentetan

String ialah jenis data paling asas bagi Redis Bukan sahaja semua kunci ialah jenis rentetan, tetapi elemen yang terdiri daripada beberapa jenis data lain juga rentetan. Ambil perhatian bahawa panjang rentetan tidak boleh melebihi 512M.

Pertama sekali, siapa yang menetapkan ia tidak boleh melebihi 512 M? Atau mengapa tidak melebihi 512M?

// 源码定义（检查字符串长度）
static int checkStringLength(redisClient *c, long long size) {
    if (size > 512*1024*1024) {
        addReplyError(c,"string exceeds maximum allowed size (512MB)");
        return REDIS_ERR;
    }
    return REDIS_OK;
}

Dibetulkan dengan semakan kod sumber dan tidak boleh melebihi 512 M.

Mari kita lihat struktur redis redis:

struct sdshdr{
    // 记录 buf 数组中已使用字节的数量
    // 等于 SDS 所保存字符串的长度
    int len;
    // 记录 buf 数组中未使用字节的数量
    int free;
    // 字节数组，用于保存字符串
    char buf[];
}

Ia boleh dilihat secara langsung bahawa int ialah 32 bit, jadi ia sepatutnya dapat menyokong maksimum rentetan 4G, tetapi ini bukan keadaan sebenar .

Untuk mengetahui mengapa ia tidak boleh melebihi 512 M, saya menemui jawapan rasmi:

Kemudian saya mendapati bahawa maklumat redis yang saya baca sudah lapuk!

Tengok, orang lain pun kena tipu. Versi yang dibincangkan dalam perbincangan ini semuanya sebelum 3.2.

话不多说，继续学习 redis5.0 版本的资料。不过之前学习了的也没事，我们可以一起来看下 redis 的字符串是怎么优化的。

用如下结构来存储长度小于32的短字符串：

struct __attribute__((__packed__)) sdshdr5 {
        unsigned char flags; /* 低3位存储类型，高5位存储长度*/
        char buf[]; /* 柔性数组，存放实际内容*/
}

sdshdr5 结构中，flags占1个字节，其低3位（bit）表示type，高5位（bit）表示长度，能表示的长度区间为0～31（25-1）, flags后面就是字符串的内容。

而对于长度大于31的字符串，这个结构就不够用了，所以对于不同长度的字符串，有不同的处理方式：

#define SDS_TYPE_5  0
#define SDS_TYPE_8  1
#define SDS_TYPE_16 2
#define SDS_TYPE_32 3
#define SDS_TYPE_64 4

struct __attribute__ ((__packed__)) sdshdr8 {
    uint8_t len; /* used */
    uint8_t alloc; /* excluding the header and null terminator */
    unsigned char flags; /* 3 lsb of type, 5 unused bits */
    char buf[];
};
struct __attribute__ ((__packed__)) sdshdr16 {
    uint16_t len; /* used */
    uint16_t alloc; /* excluding the header and null terminator */
    unsigned char flags; /* 3 lsb of type, 5 unused bits */
    char buf[];
};
struct __attribute__ ((__packed__)) sdshdr32 {
    uint32_t len; /* used */
    uint32_t alloc; /* excluding the header and null terminator */
    unsigned char flags; /* 3 lsb of type, 5 unused bits */
    char buf[];
};
struct __attribute__ ((__packed__)) sdshdr64 {
    uint64_t len; /* used */
    uint64_t alloc; /* excluding the header and null terminator */
    unsigned char flags; /* 3 lsb of type, 5 unused bits */
    char buf[];
};

可以看到，这4种结构的成员变量类似，唯一的区别是len和alloc的类型不同。

结构体中4个字段的具体含义分别如下:

1）len：表示buf中已占用字节数。

2）alloc：表示buf中已分配字节数，不同于free，记录的是为buf分配的总长度。

3）flags：标识当前结构体的类型，低3位用作标识位，高5位预留。

4) buf: tatasusunan fleksibel, ruang data yang sebenarnya menyimpan rentetan.

Proses mencipta rentetan:

Redis mencipta SDS melalui fungsi sdsnewlen. Dalam fungsi, jenis yang sesuai akan dipilih berdasarkan panjang rentetan Selepas memulakan nilai statistik yang sepadan, penunjuk kepada kandungan rentetan akan dikembalikan dan jenis yang berbeza akan dipilih berdasarkan panjang rentetan. .

Untuk jenis sdshdr5, apabila mencipta rentetan kosong, ia akan dihantar ke sdshdr8. Sebabnya mungkin selepas mencipta rentetan kosong, kandungannya mungkin kerap dikemas kini dan menyebabkan pengembangan, jadi ia dibuat terus sebagai sdshdr8 apabila dibuat.

Rentetan penyambungan:

sdscatsds ialah kaedah yang terdedah kepada lapisan atas, dan ia akhirnya memanggil sdscatlen. Oleh kerana pengembangan SDS mungkin terlibat, sdsMakeRoomFor dipanggil dalam sdscatlen untuk memeriksa kapasiti rentetan s Jika pengembangan tidak diperlukan, s dikembalikan secara langsung jika pengembangan diperlukan, rentetan baru yang dikembangkan s dikembalikan. Nilai panjang seperti len dan curlen dalam fungsi tidak mengandungi terminator Apabila splicing, memcpy digunakan untuk menyambung dua rentetan dan panjang yang berkaitan ditentukan, jadi proses ini memastikan keselamatan binari. Penamat perlu ditambah pada penghujungnya.

Peluasan rentetan

1. Jika baki panjang percuma avail dalam sds lebih besar daripada panjang addlen kandungan baharu, cuma tambahkannya terus ke penghujung buf tatasusunan fleksibel tanpa pengembangan.

2. Jika baki panjang percuma dalam sds kurang daripada atau sama dengan panjang addlen kandungan baharu, kami akan membincangkannya mengikut kes demi kes: jika jumlah panjang selepas penambahan ialah len+ addlen1MB, kapasiti akan dikembangkan dengan menambah 1MB pada panjang baharu.

3. Akhir sekali, pilih semula jenis storan mengikut panjang baharu dan peruntukkan ruang. Jika tidak ada keperluan untuk menukar jenis di sini, hanya mengembangkan tatasusunan fleksibel melalui realloc jika tidak, anda perlu membuka semula memori dan mengalihkan kandungan buf rentetan asal ke lokasi baharu.

Itu sahaja untuk rentetan.

Dalam versi 5.0, tiada had rentetan 512M Kaedah pemprosesan rentetan berbeza mengikut jenis yang berbeza, yang menjimatkan lebih banyak memori