python爬虫 - python访问豆瓣突然遇到403forbidden,用过edge浏览器也无法访问?
高洛峰
高洛峰 2017-04-17 16:52:07
0
4
639

如题,使用requests访问,昨天写代码的时候两个多小时一直在访问豆瓣主页,没有什么问题,今天用相同的程序就变成了403forbidden,chrome、edge访问网址也变成了403forbidden..不知是什么原因..

高洛峰
高洛峰

拥有18年软件开发和IT教学经验。曾任多家上市公司技术总监、架构师、项目经理、高级软件工程师等职务。 网络人气名人讲师,...

모든 응답(4)
刘奇

Douban을 크롤링하는 방법을 배우는 것이 좋습니다. 적용하려면 공개 플랫폼인 http://developers.douban.com/을 사용하세요.

巴扎黑

체포가 너무 가혹해서 도반이 금지시켰습니다~

Peter_Zhu

UGC를 만드는 데 얼마나 많은 노력이 필요합니까? 어떻게 하면 자연스럽게 얻을 수 있나요?
고밀도 프록시 IP를 사용하여 캡처할 수 있습니다. 저희는 이전에 Taobao의 데이터를 캡처한 적이 있으며, 몇 번 캡처한 후 이를 금지했습니다. 나중에 우리는 문제를 완벽하게 해결하기 위해 프록시를 사용했는데, 상대방은 금지할 수 없었습니다. 전혀.

黄舟

Douban은 쿠키를 통해 크롤링 빈도를 제한하고 있으며, 지난 달에는 2시간 만에 107만 페이지를 크롤링했습니다.

최신 다운로드
더>
웹 효과
웹사이트 소스 코드
웹사이트 자료
프론트엔드 템플릿