• 技术文章 >后端开发 >Python教程

    分享一篇python scrapy ip代理的设置实例

    PHP中文网PHP中文网2017-06-20 16:43:23原创1791
    在scrapy项目中建一个与spider同级的python目录并在下面添加一个py文件内容为

    # encoding: utf-8
    import base64
    proxyServer = 代理服务器地址 ##我的是‘:9010’
    
    # 代理隧道验证信息  这个是在那个网站上申请的
    proxyUser = 用户名
    proxyPass = 密码
    proxyAuth = "Basic " + base64.b64encode(proxyUser + ":" + proxyPass)
    
    class ProxyMiddleware(object):
        def process_request(self, request, spider):
            request.meta["proxy"] = proxyServer
            request.headers["Proxy-Authorization"] = proxyAuth
    
    在setting文件中添加
    DOWNLOADER_MIDDLEWARES = {
        '项目名.spider同级文件名.文件名.ProxyMiddleware': 543,
    }
    
    代码地址

    以上就是分享一篇python scrapy ip代理的设置实例的详细内容,更多请关注php中文网其它相关文章!

    声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn核实处理。
    专题推荐:python scrapy 设置 代理
    上一篇:Python之百度API调用的实例详解 下一篇:python怎么使用sublime text

    相关文章推荐

    • 一文了解Python中如何使用query()进行优雅的查询• python基于xml parse实现解析cdatasection数据• Python设计模式之单例模式实例• python操作MySQL数据库具体方法• python fabric实现远程操作和部署示例

    全部评论我要评论

  • 取消发布评论发送
  • 1/1

    PHP中文网