84669 person learning
152542 person learning
20005 person learning
5487 person learning
7821 person learning
359900 person learning
3350 person learning
180660 person learning
48569 person learning
18603 person learning
40936 person learning
1549 person learning
1183 person learning
32909 person learning
如题,使用requests访问,昨天写代码的时候两个多小时一直在访问豆瓣主页,没有什么问题,今天用相同的程序就变成了403forbidden,chrome、edge访问网址也变成了403forbidden..不知是什么原因..
拥有18年软件开发和IT教学经验。曾任多家上市公司技术总监、架构师、项目经理、高级软件工程师等职务。 网络人气名人讲师,...
学习爬虫抓豆瓣还是不错的,如果要应用,请用人家的开放平台吧http://developers.douban.com/
抓的太狠,被豆瓣封了啊~
人家费多大劲搞点 UGC 岂容你随便抓取?可以用高匿代理 IP 抓,我们之前抓过淘宝的数据,也是抓几次以后就禁止了,后来用代理完美解决,对方完全禁止不了。
豆瓣是通过cookies限制抓取频率的, 分析下cookies, 是可以伪造的. 上个月两小时抓了107万个页面.
学习爬虫抓豆瓣还是不错的,如果要应用,请用人家的开放平台吧http://developers.douban.com/
抓的太狠,被豆瓣封了啊~
人家费多大劲搞点 UGC 岂容你随便抓取?
可以用高匿代理 IP 抓,我们之前抓过淘宝的数据,也是抓几次以后就禁止了,后来用代理完美解决,对方完全禁止不了。
豆瓣是通过cookies限制抓取频率的, 分析下cookies, 是可以伪造的. 上个月两小时抓了107万个页面.