python - 使用scrapy框架爬百度图片被墙
给我你的怀抱
给我你的怀抱 2017-05-24 11:34:48
0
3
672

请求地址url是通过firefox查看得到的json的地址,用浏览器可以打开,但是用scrapy爬的时候就被ban了求解决办法。

https://image.baidu.com/searc...

给我你的怀抱
给我你的怀抱

全部回复(3)
黄舟

settings.pyROBOTSTXT_OBEY = False 试试。

某草草

不要加hearders试试

为情所困

赞成楼上,如果还会被墙。可采用scrapy+selenium+phantomjs的方式。

热门教程
更多>
最新下载
更多>
网站特效
网站源码
网站素材
前端模板