简体中文(ZH-CN) English(EN) 繁体中文(ZH-TW)
python爬虫 - python访问豆瓣突然遇到403forbidden,用过edge浏览器也无法访问？
高洛峰
高洛峰 2017-04-17 16:52:07
0
4
473

如题，使用requests访问，昨天写代码的时候两个多小时一直在访问豆瓣主页，没有什么问题，今天用相同的程序就变成了403forbidden，chrome、edge访问网址也变成了403forbidden..不知是什么原因..

高洛峰
高洛峰

拥有18年软件开发和IT教学经验。曾任多家上市公司技术总监、架构师、项目经理、高级软件工程师等职务。 网络人气名人讲师，...

reply all(4)
刘奇
刘奇2017-04-17 16:54:07 4 floor

学习爬虫抓豆瓣还是不错的，如果要应用，请用人家的开放平台吧http://developers.douban.com/
Like +0
Add Reply
巴扎黑
巴扎黑2017-04-17 16:54:07 3 floor

抓的太狠，被豆瓣封了啊~
Like +0
Add Reply
Peter_Zhu
Peter_Zhu2017-04-17 16:54:07 2 floor

人家费多大劲搞点 UGC 岂容你随便抓取？
可以用高匿代理 IP 抓，我们之前抓过淘宝的数据，也是抓几次以后就禁止了，后来用代理完美解决，对方完全禁止不了。
Like +0
Add Reply
黄舟
黄舟2017-04-17 16:54:07 1 floor

豆瓣是通过cookies限制抓取频率的, 分析下cookies, 是可以伪造的. 上个月两小时抓了107万个页面.
Like +0
Add Reply
Popular Topics
More>
Popular Articles
Popular Tutorials
More>
Related Tutorials
Popular Recommendations
Latest courses
Latest Downloads
More>
Web Effects
Website Source Code
Website Materials
Front End Template
About us Disclaimer Sitemap
php.cn：Public welfare online PHP training，Help PHP learners grow quickly！