84669 人學習
152542 人學習
20005 人學習
5487 人學習
7821 人學習
359900 人學習
3350 人學習
180660 人學習
48569 人學習
18603 人學習
40936 人學習
1549 人學習
1183 人學習
32909 人學習
在抓取360问答的时候,前面抓取得好好的,但是每次抓到大约40条的时候,就打不开了,所有的问题都打不开了,直接全部跳转到首页!我抓包了看了下,是被302了,请问下,除了换ip,还有什么比较好的方法来突破这种限制?
我设置了时间间隔,现在也不行了
ringa_lee
sleep(10)暫停一下，別爬太快~
1樓說得對，設定抓取延遲
簡單方案是上代理。
設定時間間距一般也不是很有用，在大規模爬取的情況下，一個IP訪問數百次一般就會被跳轉驗證碼了。
sleep(10)
暫停一下，別爬太快~
1樓說得對，設定抓取延遲
簡單方案是上代理。
設定時間間距一般也不是很有用，在大規模爬取的情況下，一個IP訪問數百次一般就會被跳轉驗證碼了。