python - 使用scrapy框架爬百度圖片被牆
给我你的怀抱
给我你的怀抱 2017-05-24 11:34:48
0
3
674

#請求地址url是透過firefox查看得到的json的位址,用瀏覽器可以打開,但是用scrapy爬的時候就被ban了求解決方法。

https://image.baidu.com/searc...

给我你的怀抱
给我你的怀抱

全部回覆(3)
黄舟

settings.pyROBOTSTXT_OBEY = False 試試。

某草草

不要加hearders試試

为情所困

贊成樓上,如果還會被牆。可採用scrapy+selenium+phantomjs的方式。

熱門教學
更多>
最新下載
更多>
網站特效
網站源碼
網站素材
前端模板