• 技术文章 >后端开发 >Python教程

    对python使用http、https代理的实例讲解

    不言不言2018-05-07 14:13:35原创1965
    这篇文章主要介绍了关于对python使用http、https代理的实例讲解,有着一定的参考价值,现在分享给大家,有需要的朋友可以参考一下

    在国内利用Python从Internet上爬取数据时,有些网站或API接口被限速或屏蔽,这时使用代理可以加速爬取过程,减少请求失败,Python程序使用代理的方法主要有以下几种:

    (1)如果是在代码中使用一些网络库或爬虫框架进行数据爬取,一般这种框架都会支持设置代理,例如:

    <span style="font-size:14px;">import urllib.request as urlreq 
    # 设置https代理 
    ph = urlreq.ProxyHandler({'https': 'https://127.0.0.1:1080'}) 
    oper = urlreq.build_opener(ph) 
    # 将代理安装到全局环境,这样所有请求都会自动使用代理 
    urlreq.install_opener(oper) 
    res = oper.open("https://www.google.com") 
    print(res.read())</span>

    <span style="font-size:14px;">import requests as req 
    print(req.get("https://www.google.com", proxies={'https': 'https://127.0.0.1:1080'}).content)</span>

    (2)如果使用的库没有提供设置代理的接口,但是底层使用了urllib、requests等库,可以尝试设置HTTP_PROXY 和HTTPS_PROXY环境变量,常用的网络库会自动识别这些环境变量,使用变量设置的代理发起请求,设置如下:

    import os 
    os.environ['http_proxy'] = 'http://127.0.0.1:1080' 
    os.environ['https_proxy'] = 'https://127.0.0.1:1080'

    (3)如果上述两种方法都没有用,那么还可以使用一些可以监听、拦截和修改网络包的工具和库如(Fiddler、mitmproxy)来拦截http请求包并修改地址,达到使用代理的效果。

    相关推荐:

    利用python的socket发送http(s)请求方法

    以上就是对python使用http、https代理的实例讲解的详细内容,更多请关注php中文网其它相关文章!

    声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn核实处理。
    专题推荐:python https http
    上一篇:python使用代理ip访问网站 下一篇:python3 requests中使用ip代理池随机生成ip的实例
    VIP课程(WEB全栈开发)

    相关文章推荐

    • 【腾讯云】年中优惠,「专享618元」优惠券!• Python数据分析之concat与merge函数(实例详解)• 实例详解Python面向对象的四大特征• 图文详解怎么用Python绘制动态可视化图表• 简单学习Python字符和列表(实例详解)• 介绍六个超好用的Python内置函数
    1/1

    PHP中文网