84669 人学习
152542 人学习
20005 人学习
5487 人学习
7821 人学习
359900 人学习
3350 人学习
180660 人学习
48569 人学习
18603 人学习
40936 人学习
1549 人学习
1183 人学习
32909 人学习
我想用python对全网的网站进行扫描记录,想用mysql建个表记录每个网站的信息,数据量大后怎么能快速的判断这个网站已经记录过呢?基本表结构有:id,url,name,datetime等相关字段,url想有唯一性,是拿到url查询一下判断没有数据再插入还是怎么办?如果做了唯一性索引直接插入时会报错,谢谢,或是有没有别的有效的解决办法?
业精于勤,荒于嬉;行成于思,毁于随。
分布式kv数据库对url分组
推荐使用Bloom Filter存储已经抓取到的url.Bloom Filter实际上是由一组哈希函数和一个字节列表组成. 详细介绍可以参考百度百科和这篇博文.
如果使用Python可直接安装Pybloom包, 这里已经实现了Bloom Filter.
对url进行hash,就是微博短域名一样,然后用kv,mysql都行
分布式kv数据库
对url分组
推荐使用Bloom Filter存储已经抓取到的url.
Bloom Filter实际上是由一组哈希函数和一个字节列表组成. 详细介绍可以参考百度百科和这篇博文.
如果使用Python可直接安装Pybloom包, 这里已经实现了Bloom Filter.
对url进行hash,就是微博短域名一样,然后用kv,mysql都行