python - 爬虫在爬取网页的时候出现了302要如何解决?
ringa_lee
ringa_lee 2017-04-18 09:48:26
0
3
790

在抓取360问答的时候,前面抓取得好好的,但是每次抓到大约40条的时候,就打不开了,所有的问题都打不开了,直接全部跳转到首页!我抓包了看了下,是被302了,请问下,除了换ip,还有什么比较好的方法来突破这种限制?

我设置了时间间隔,现在也不行了

ringa_lee
ringa_lee

ringa_lee

모든 응답(3)
小葫芦

sleep(10)
暂停一下,别爬太快~

迷茫

1楼说得对,设置抓取延时

阿神

简单方案是上代理。

设置时间间距一般也不是很有用,在大规模爬取的情况下,一个IP访问数百次一般就会被跳转验证码了。

최신 다운로드
더>
웹 효과
웹사이트 소스 코드
웹사이트 자료
프론트엔드 템플릿
회사 소개 부인 성명 Sitemap
PHP 중국어 웹사이트:공공복지 온라인 PHP 교육,PHP 학습자의 빠른 성장을 도와주세요!