84669인 학습
152542인 학습
20005인 학습
5487인 학습
7821인 학습
359900인 학습
3350인 학습
180660인 학습
48569인 학습
18603인 학습
40936인 학습
1549인 학습
1183인 학습
32909인 학습
我想用python对全网的网站进行扫描记录，想用mysql建个表记录每个网站的信息，数据量大后怎么能快速的判断这个网站已经记录过呢？基本表结构有：id,url,name,datetime等相关字段，url想有唯一性，是拿到url查询一下判断没有数据再插入还是怎么办？如果做了唯一性索引直接插入时会报错，谢谢，或是有没有别的有效的解决办法？
业精于勤，荒于嬉;行成于思，毁于随。
分布式kv数据库 对url分组
推荐使用Bloom Filter存储已经抓取到的url. Bloom Filter实际上是由一组哈希函数和一个字节列表组成. 详细介绍可以参考百度百科和这篇博文.
如果使用Python可直接安装Pybloom包, 这里已经实现了Bloom Filter.
对url进行hash，就是微博短域名一样，然后用kv，mysql都行
![[웹 프런트엔드] Node.js 빠른 시작](https://img.php.cn/upload/course/000/000/067/662b5d34ba7c0227.png)
分布式kv数据库
对url分组
推荐使用Bloom Filter存储已经抓取到的url.
Bloom Filter实际上是由一组哈希函数和一个字节列表组成. 详细介绍可以参考百度百科和这篇博文.
如果使用Python可直接安装Pybloom包, 这里已经实现了Bloom Filter.
对url进行hash，就是微博短域名一样，然后用kv，mysql都行