如何用redis去重？

Question

分别从几个固定的网站上爬取数据；为了url去重，我用&lt;set get&gt;的字符串型存储?还是用&lt;SADD SMEMBERS&gt;的sets型存储？ 需要存储url数目，大概初期在100k-1000k之间。

世界只因有你 · Answer

Collecter avec redis
Lien

巴扎黑 · Answer

Utilisez des collections, le caractère non répétitif des collections est très adapté.

PHPz · Answer

$key = 'URL_HASH';
if(!$redis->hGet($key, md5($url))){
    // do something ...
    // 抓取一个 $url 后
    $redis->hSet($key, md5($url), true);
}

Ce qui doit être noté ici, c'est que s'il est multithread, d'autres processus doivent être pris en compte. Vous pouvez remplacer la valeur booléenne par une valeur d'énumération.