python - 爬虫抓取数据页一直返回HTTP code 417
黄舟
黄舟 2017-04-17 16:46:03
0
2
626

同一份代码在本地测试请求数据页返回200,

但是在线上之前请求的步骤都可以成功请求到,到请求数据页这步一直返回417

用Advanced REST client在本地模拟这段请求也是可以通过的

查了一下原因,有可能是服务器被识别被封了,如果是这样请问如何解决?谢谢

黄舟
黄舟

人生最曼妙的风景,竟是内心的淡定与从容!

全部回覆(2)
大家讲道理

爬蟲有兩點很重要,控制抓爬頻率,使用代理抓爬,慢一點沒關係,持久有效才是目標。

PHPzhong

很可能是伺服器因為採集資料過多被封了,這樣只能使用HTTP代理了

熱門教學
更多>
最新下載
更多>
網站特效
網站源碼
網站素材
前端模板