首页 > 后端开发 > Python教程 > Python 爬虫返回403错误解决方法

Python 爬虫返回403错误解决方法

伊谢尔伦
发布: 2017-04-29 10:05:50
原创
6491 人浏览过

问题

抓取数据时,通常调试信息是:

DEBUG: Crawled (200) <GET //m.sbmmt.com/> (referer: None)
登录后复制

如果出现

DEBUG: Crawled (403) <GET //m.sbmmt.com/> (referer: None)
登录后复制

表示网站采用了防爬技术anti-web-crawling technique(Amazon所用),比较简单即会检查用户代理(User Agent)信息。

解决方法

在请求头部构造一个User Agent,如下所示:

def start_requests(self):  
    yield Request("//m.sbmmt.com/",  
                  headers={&#39;User-Agent&#39;: "your agent string"})
登录后复制


以上是Python 爬虫返回403错误解决方法的详细内容。更多信息请关注PHP中文网其他相关文章!

相关标签:
来源:php.cn
本站声明
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn
最新问题
热门教程
更多>
最新下载
更多>
网站特效
网站源码
网站素材
前端模板