So verwenden Sie den HyperLogLog-Datentyp in Redis

1. Prinzip von HyperLogLog

Redis HyperLogLog verwendet einen probabilistischen Algorithmus, den HyperLogLog-Algorithmus, um die Kardinalität abzuschätzen. Mithilfe einer Reihe von Hash-Funktionen und eines Bit-Arrays der Länge m ist HyperLogLog in der Lage, die Anzahl der eindeutigen Elemente in einer Menge zu schätzen.

Im HyperLogLog-Algorithmus wird jedes Element gehasht, und nach der Umwandlung des Hash-Werts in einen Binärwert wird jedes Element entsprechend der Anzahl der Einsen im Binärzeichenfolgenpräfix bewertet. Wenn der Hashwert eines Elements beispielsweise 01110100011 ist, beträgt die Anzahl der Einsen im Präfix 3, sodass im HyperLogLog-Algorithmus die Punktzahl dieses Elements 3 beträgt.

　Wenn die Bewertungen aller Elemente gezählt werden, nehmen Sie den Kehrwert jeder Bewertung (1/2^n), addieren Sie dann diese Kehrwerte und bilden Sie den Kehrwert, um eine Kardinalitätsschätzung zu erhalten, die das geschätzte Ergebnis des HyperLogLog-Algorithmus ist.

　Der HyperLogLog-Algorithmus kompensiert die Größe der Länge m des Bitarrays, wodurch der von der Datenstruktur belegte Speicher und die Genauigkeit des geschätzten Werts (d. h. des geschätzten Fehlers) beeinträchtigt werden, und erzielt ein perfektes Gleichgewicht zwischen dem von den Daten belegten Platz und der geringere Fehlergrad.

　Kurz gesagt, die Kernidee des HyperLogLog-Algorithmus basiert auf Hash-Funktionen und Bitoperationen, indem Hash-Werte in Bitströme umgewandelt und die Anzahl der führenden Nullen gezählt werden, wodurch die Anzahl der eindeutigen Werte schnell geschätzt wird in großen Datensätzen. Mit dem Hyperloglog-Algorithmus sind wir in der Lage, doppelte Webseiten in sehr großen Datensätzen schnell zu identifizieren.

2. Verwendungsschritte:

　Redis HyperLogLog ist eine Datenstruktur, die zur Schätzung der Anzahl von Elementen in einer Sammlung verwendet werden kann. Sie kann große Datenmengen verwalten, indem sie nur sehr wenig Speicher benötigt. Es ist genauer als herkömmliche Schätzalgorithmen und bei der Verarbeitung großer Datenmengen sehr schnell.

　Ein einfaches Beispiel: Wir können HyperLogLog verwenden, um die Anzahl der unabhängigen IPs zu berechnen, die die Website besuchen. Sie können die folgenden Schritte ausführen:

• Erstellen Sie zunächst eine HyperLogLog-Datenstruktur: PFADD hll:unique_ips 127.0.0.1<code>PFADD hll:unique_ips 127.0.0.1

• 为每次访问ip添加到unique_ips数据结构中： PFADD hll:unique_ips 192.168.1.1

• 获取计算集合中元素数量的近似值: PFCOUNT hll:unique_ips

• 可以通过对多个HyperLogLog结构（例如按天或按小时）的合并，来获得更精确的计数。

　　需要注意的是，HyperLogLog虽然可以节省大量的内存，但它是一种估计算法，误差范围并不是完全精确的，实际使用时应注意其适用范围。

3.实现请求ip去重的浏览量使用示例

4.Jedis客户端使用

　　1. 添加依赖，引入jedis依赖：

<dependency>
    <groupId>redis.clients</groupId>
    <artifactId>jedis</artifactId>
    <version>3.6.0</version>
</dependency>

　　2.创建一个Jedis对象：

Jedis jedis = new Jedis("localhost");

　　3.向HyperLogLog数据结构添加元素：

jedis.pfadd("hll:unique_ips", "127.0.0.1");

　　4.获取计算集合中元素数量的近似值：

Long count = jedis.pfcount("hll:unique_ips");
System.out.println(count);

　　5.可以通过对多个HyperLogLog结构的合并来获得更精确的计数。在Jedis中可以使用PFMERGE

• 

  jedis.pfmerge("hll:unique_ips", "hll:unique_ips1", "hll:unique_ips2", "hll:unique_ips3");

  Nach dem Login kopieren