84669 Lernen von Personen
152542 Lernen von Personen
20005 Lernen von Personen
5487 Lernen von Personen
7821 Lernen von Personen
359900 Lernen von Personen
3350 Lernen von Personen
180660 Lernen von Personen
48569 Lernen von Personen
18603 Lernen von Personen
40936 Lernen von Personen
1549 Lernen von Personen
1183 Lernen von Personen
32909 Lernen von Personen
在抓取360问答的时候,前面抓取得好好的,但是每次抓到大约40条的时候,就打不开了,所有的问题都打不开了,直接全部跳转到首页!我抓包了看了下,是被302了,请问下,除了换ip,还有什么比较好的方法来突破这种限制?
我设置了时间间隔,现在也不行了
ringa_lee
sleep(10)暂停一下，别爬太快~
1楼说得对，设置抓取延时
简单方案是上代理。
设置时间间距一般也不是很有用，在大规模爬取的情况下，一个IP访问数百次一般就会被跳转验证码了。
sleep(10)
暂停一下，别爬太快~
1楼说得对，设置抓取延时
简单方案是上代理。
设置时间间距一般也不是很有用，在大规模爬取的情况下，一个IP访问数百次一般就会被跳转验证码了。