简体中文(ZH-CN) English(EN) 繁体中文(ZH-TW) 日本語(JA) 한국어(KO) Melayu(MS) Français(FR) Deutsch(DE)
python - 爬虫在爬取网页的时候出现了302要如何解决?
ringa_lee
ringa_lee 2017-04-18 09:48:26
0
3
797

在抓取360问答的时候,前面抓取得好好的,但是每次抓到大约40条的时候,就打不开了,所有的问题都打不开了,直接全部跳转到首页!我抓包了看了下,是被302了,请问下,除了换ip,还有什么比较好的方法来突破这种限制?

我设置了时间间隔,现在也不行了

ringa_lee
ringa_lee

ringa_lee

全部回复 (3)
小葫芦
小葫芦2017-04-18 09:50:26 3 楼

sleep(10)
暂停一下，别爬太快~

点赞+0
添加回复
    迷茫
    迷茫2017-04-18 09:50:26 2 楼

    1楼说得对，设置抓取延时

    点赞+0
    添加回复
      阿神
      阿神2017-04-18 09:50:26 1 楼

      简单方案是上代理。

      设置时间间距一般也不是很有用，在大规模爬取的情况下，一个IP访问数百次一般就会被跳转验证码了。

      点赞+0
      添加回复
        热门专题
        更多>
        热门文章
        热门教程
        更多>
        相关教程
        热门推荐
        最新课程
        最新下载
        更多>
        网站特效
        网站源码
        网站素材
        前端模板
        关于我们 免责声明 Sitemap
        PHP中文网：公益在线PHP培训，帮助PHP学习者快速成长！