简体中文(ZH-CN) English(EN) 繁体中文(ZH-TW) 日本語(JA) 한국어(KO) Melayu(MS) Français(FR) Deutsch(DE)
python爬虫 - python访问豆瓣突然遇到403forbidden,用过edge浏览器也无法访问？
高洛峰
高洛峰 2017-04-17 16:52:07
0
4
564

如题，使用requests访问，昨天写代码的时候两个多小时一直在访问豆瓣主页，没有什么问题，今天用相同的程序就变成了403forbidden，chrome、edge访问网址也变成了403forbidden..不知是什么原因..

高洛峰
高洛峰

拥有18年软件开发和IT教学经验。曾任多家上市公司技术总监、架构师、项目经理、高级软件工程师等职务。 网络人气名人讲师，...

répondre à tous (4)
刘奇
刘奇2017-04-17 16:54:07 4 plancher

学习爬虫抓豆瓣还是不错的，如果要应用，请用人家的开放平台吧http://developers.douban.com/

Comme+0
Ajouter une réponse
    巴扎黑
    巴扎黑2017-04-17 16:54:07 3 plancher

    抓的太狠，被豆瓣封了啊~

    Comme+0
    Ajouter une réponse
      Peter_Zhu
      Peter_Zhu2017-04-17 16:54:07 2 plancher

      人家费多大劲搞点 UGC 岂容你随便抓取？
      可以用高匿代理 IP 抓，我们之前抓过淘宝的数据，也是抓几次以后就禁止了，后来用代理完美解决，对方完全禁止不了。

      Comme+0
      Ajouter une réponse
        黄舟
        黄舟2017-04-17 16:54:07 1 plancher

        豆瓣是通过cookies限制抓取频率的, 分析下cookies, 是可以伪造的. 上个月两小时抓了107万个页面.

        Comme+0
        Ajouter une réponse
          Sujets populaires
          Plus>
          Articles populaires
          Tutoriels populaires
          Plus>
          Tutoriels associés
          Recommandations populaires
          Derniers cours
          Derniers téléchargements
          Plus>
          effets Web
          Code source du site Web
          Matériel du site Web
          Modèle frontal
          À propos de nous Clause de non-responsabilité Sitemap
          Site Web PHP chinois：Formation PHP en ligne sur le bien-être public，Aidez les apprenants PHP à grandir rapidement！