如何用redis去重？

Question

分別從幾個固定的網站上爬取資料；為了url去重，我用&lt;set get&gt;的字串型儲存?還是用&lt;SADD SMEMBERS&gt;的sets型儲存？ 需要儲存url數目，大概初期在100k-1000k之間。

世界只因有你 · Answer

用redis集合
連結

巴扎黑 · Answer

用集合吧，集合的不重複性太適用了。

PHPz · Answer

$key = 'URL_HASH';
if(!$redis->hGet($key, md5($url))){
    // do something ...
    // 抓取一个 $url 后
    $redis->hSet($key, md5($url), true);
}

這裡要注意的是，如果是多執行緒的，要考慮其他行程，可以吧 bool 值改為枚舉值。