Cet article est une partie pratique deRedis. Il présente la méthode d'utilisation de Redis+Bitmap pour obtenir des statistiques de données massives au niveau d'un milliard. J'espère qu'il sera utile à tout le monde !
Dans le scénario métier des applications mobiles, nous devons sauvegarder de telles informations : une clé est associée à une collecte de données. [Recommandations associées :Tutoriel vidéo Redis]
Les scénarios courants sont les suivants :
Normalement, le nombre d'utilisateurs et de visites auxquels nous sommes confrontés est énorme, par exemple ; comme des millions, des dizaines de millions d'utilisateurs, ou des dizaines de millions, voire des milliards d'informations d'accès.
Nous devons donc choisir un type de collecte capable de compter très efficacement de grandes quantités de données (comme des milliards).
Comment choisir un ensemble de données approprié ? Nous devons d'abord comprendre les modèles statistiques couramment utilisés et utiliser une compréhension raisonnable des données pour résoudre des problèmes pratiques.
Quatre types de statistiques :
statistiques d'état binaire ;
statistiques d'agrégation ;
Cet article utilisera le
Type de statistiques d'état binaireBitmap mettre en œuvre .
Bitmap来实现。
文章涉及到的指令可以通过在线 Redis 客户端运行调试，地址：try.redis.io/，超方便的说。
多分享多付出，前期多给别人创造价值并且不计回报，从长远来看，这些付出都会成倍的回报你。
特别是刚开始跟别人合作的时候，不要去计较短期的回报，没有太大意义，更多的是锻炼自己的视野、视角以及解决问题的能力。
码哥，什么是二值状态统计呀？
也就是集合中的元素的值只有 0 和 1 两种，在签到打卡和用户是否登陆的场景中，只需记录签到(1)或未签到(0)，已登录(1)或未登陆(0)
Frère Ma, que sont les statistiques d'état binaire ?
C'est-à-dire que les valeurs des éléments de la collection ne sont que 0 et 1. Dans le scénario d'enregistrement et d'enregistrement et si l'utilisateur est connecté, il vous suffit d'enregistrerkey -> userId, value -> 0 signifie hors ligne, 1 - connectéSign -in(1)ouNot-check-in( 0),Connecté (1)ouNon connecté (0) code>. Supposons que nous utilisions l'implémentation de type String de Redis dans le scénario consistant à déterminer si l'utilisateur est connecté (
), si nous stockons la connexion statut de 1 million d'utilisateurs , s'ils sont stockés sous forme de chaînes, 1 million de chaînes devraient être stockées, ce qui consommerait trop de mémoire.
Frère Ma, pourquoi le type String a-t-il une surcharge de mémoire élevée ?
buf: tableau d'octets, enregistre les données réelles, Redis ajoute automatiquement un " à la fin du tableau
Bitmap 的底层数据结构用的是 String 类型的 SDS 数据结构来保存位数组，Redis 把每个字节数组的 8 个 bit 位利用起来，每个 bit 位 表示一个元素的二值状态（不是 0 就是 1）。
可以将 Bitmap 看成是一个 bit 为单位的数组，数组的每个单元只能存储 0 或者 1，数组的下标在 Bitmap 中叫做 offset 偏移量。
为了直观展示，我们可以理解成 buf 数组的每个字节用一行表示，每一行有 8 个 bit 位，8 个格子分别表示这个字节中的 8 个 bit 位，如下图所示：
8 个 bit 组成一个 Byte，所以 Bitmap 会极大地节省存储空间。这就是 Bitmap 的优势。
怎么用 Bitmap 来判断海量用户中某个用户是否在线呢？
Bitmap 提供了GETBIT、SETBIT操作，通过一个偏移值 offset 对 bit 数组的 offset 位置的 bit 位进行读写操作，需要注意的是 offset 从 0 开始。
只需要一个 key = login_status 表示存储用户登陆状态集合数据， 将用户 ID 作为 offset，在线就设置为 1，下线设置 0。通过GETBIT判断对应的用户是否在线。 50000 万 用户只需要 6 MB 的空间。
SETBIT 命令
SETBIT
设置或者清空 key 的 value 在 offset 处的 bit 值（只能是 0 或者 1）。
GETBIT 命令
GETBIT
获取 key 的 value 在 offset 处的 bit 位的值，当 key 不存在时，返回 0。
假如我们要判断 ID = 10086 的用户的登陆情况：
第一步，执行以下指令，表示用户已登录。
SETBIT login_status 10086 1
第二步，检查该用户是否登陆，返回值 1 表示已登录。
GETBIT login_status 10086
第三步，登出，将 offset 对应的 value 设置成 0。
SETBIT login_status 10086 0
在签到统计中，每个用户每天的签到用 1 个 bit 位表示，一年的签到只需要 365 个 bit 位。一个月最多只有 31 天，只需要 31 个 bit 位即可。
比如统计编号 89757 的用户在 2021 年 5 月份的打卡情况要如何进行？
key 可以设计成uid:sign:{userId}:{yyyyMM}，月份的每一天的值 - 1 可以作为 offset（因为 offset 从 0 开始，所以offset = 日期 - 1）。
第一步，执行下面指令表示记录用户在 2021 年 5 月 16 号打卡。
SETBIT uid:sign:89757:202105 15 1
第二步，判断编号 89757 用户在 2021 年 5 月 16 号是否打卡。
GETBIT uid:sign:89757:202105 15
第三步，统计该用户在 5 月份的打卡次数，使用BITCOUNT指令。该指令用于统计给定的 bit 数组中，值 = 1 的 bit 位的数量。
BITCOUNT uid:sign:89757:202105
这样我们就可以实现用户每个月的打卡情况了，是不是很赞。
如何统计这个月首次打卡时间呢？
Redis 提供了BITPOS key bitValue [start] [end]指令，返回数据表示 Bitmap 中第一个值为bitValue的 offset 位置。
在默认情况下， 命令将检测整个位图， 用户可以通过可选的start参数和end参数指定要检测的范围。
所以我们可以通过执行以下指令来获取 userID = 89757 在 2021 年 5 月份首次打卡日期：
BITPOS uid:sign:89757:202105 1
需要注意的是，我们需要将返回的 value + 1 ，因为 offset 从 0 开始。
在记录了一个亿的用户连续 7 天的打卡数据，如何统计出这连续 7 天连续打卡用户总数呢？
我们把每天的日期作为 Bitmap 的 key，userId 作为 offset，若是打卡则将 offset 位置的 bit 设置成 1。
key 对应的集合的每个 bit 位的数据则是一个用户在该日期的打卡记录。
一共有 7 个这样的 Bitmap，如果我们能对这 7 个 Bitmap 的对应的 bit 位做 『与』运算。
同样的 UserID offset 都是一样的，当一个 userID 在 7 个 Bitmap 对应对应的 offset 位置的 bit = 1 就说明该用户 7 天连续打卡。
结果保存到一个新 Bitmap 中，我们再通过BITCOUNT统计 bit = 1 的个数便得到了连续打卡 7 天的用户总数了。
Redis 提供了BITOP operation destkey key [key ...]这个指令用于对一个或者多个 键 = key 的 Bitmap 进行位元操作。
opration可以是and、OR、NOT、XOR。当BITOP处理不同长度的字符串时，较短的那个字符串所缺少的部分会被看作0。空的key也被看作是包含0的字符串序列。
便于理解，如下图所示：
3 个 Bitmap，对应的 bit 位做「与」操作，结果保存到新的 Bitmap 中。
操作指令表示将 三个 bitmap 进行 AND 操作，并将结果保存到 destmap 中。接着对 destmap 执行 BITCOUNT 统计。
// 与操作 BITOP AND destmap bitmap:01 bitmap:02 bitmap:03 // 统计 bit 位 = 1 的个数 BITCOUNT destmap
简单计算下 一个一亿个位的 Bitmap占用的内存开销，大约占 12 MB 的内存（10^8/8/1024/1024），7 天的 Bitmap 的内存开销约为 84 MB。同时我们最好给 Bitmap 设置过期时间，让 Redis 删除过期的打卡数据，节省内存。
思路才是最重要，当我们遇到的统计场景只需要统计数据的二值状态，比如用户是否存在、 ip 是否是黑名单、以及签到打卡统计等场景就可以考虑使用 Bitmap。
只需要一个 bit 位就能表示 0 和 1。在统计海量数据的时候将大大减少内存占用。
原文地址：https://juejin.cn/post/6999908907791417351
作者：码哥字节
更多编程相关知识，请访问：编程视频！！
Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!
Logiciel de base de données couramment utilisé
Que sont les bases de données en mémoire ?
Lequel a une vitesse de lecture plus rapide, mongodb ou redis ?
Comment utiliser Redis comme serveur de cache
Comment Redis résout la cohérence des données
Comment MySQL et Redis assurent-ils la cohérence des doubles écritures ?
Quelles données le cache Redis stocke-t-il généralement ?
Quels sont les 8 types de données de Redis
![[Web front-end] Démarrage rapide de Node.js](https://img.php.cn/upload/course/000/000/067/662b5d34ba7c0227.png)
