简体中文(ZH-CN) English(EN) 繁体中文(ZH-TW) 日本語(JA) 한국어(KO) Melayu(MS) Français(FR) Deutsch(DE)
网页爬虫 - python访问次数过于频繁被域名限制访问
PHP中文网
PHP中文网 2017-04-17 17:15:27
0
4
723

今天学习Python爬虫的时候，对于某个的域名访问次数有点多，到最后导致整个公司ping这个域名都出现超时（一个科技资讯网站，我也是非恶意）。想了解是否我的访问被视为了DDOS攻击而被这个网站限制访问了？能否稍微介绍一下Python爬虫如何避免被视为DDOS攻击？

PHP中文网
PHP中文网

认证高级PHP讲师

全部回覆 (4)
迷茫
迷茫2017-04-17 17:17:27 4樓

一般这种情况时，我会先到 VPS 上 ping 一下目标域名，看看是不是他家网站挂了……

如果他确实是把你的 IP 屏了，那你就挂 HTTP 代理去爬吧。HTTP 可以买，也可以到网上找免费的。

點贊+0
新增回覆
    巴扎黑
    巴扎黑2017-04-17 17:17:27 3樓

    控制频率，使用代理

    點贊+0
    新增回覆
      阿神
      阿神2017-04-17 17:17:27 2樓

      urllib2.HTTPError: HTTP Error 403: Forbidden
      类似于这个吗？

      點贊+0
      新增回覆
        刘奇
        刘奇2017-04-17 17:17:27 1樓

        都是爬虫高手啊，借帖子问一下其他同仁，有遇到过加代理后和本地一样的都是403错误么，目标地址是HTTPS的。

        點贊+0
        新增回覆
          熱門專題
          更多>
          熱門文章
          熱門教學
          更多>
          相關教學
          熱門推薦
          最新課程
          最新下載
          更多>
          網站特效
          網站源碼
          網站素材
          前端模板
          關於我們 免責聲明 Sitemap
          PHP中文網：公益線上PHP培訓，幫助PHP學習者快速成長！