Python urlopen()函数 示例分享

原创
2016-06-16 08:43:41 868浏览

好了,废话少说,我们先看看几个示例吧

一、打开一个网页获取所有的内容

复制代码 代码如下:

from urllib import urlopen
doc = urlopen("http://www.baidu.com").read()
print doc

二、获取Http头

复制代码 代码如下:

from urllib import urlopen
doc = urlopen("http://www.baidu.com")
print doc.info()
print doc.info().getheader('Content-Type')

三、使用代理

1. 查看环境变量

复制代码 代码如下:

print ""n".join(["%s=%s" % (k, v) for k, v in os.environ.items()])
print os.getenv("http_proxy")

2. 设置环境变量

复制代码 代码如下:

import os
os.putenv("http_proxy", "http://proxyaddr:")

3. 使用代理

复制代码 代码如下:

# Use http://www.someproxy.com:3128 for http proxying
proxies = {'http': 'http://www.someproxy.com:3128'}
filehandle = urllib.urlopen(some_url, proxies=proxies)
# Don't use any proxies
filehandle = urllib.urlopen(some_url, proxies={})
# Use proxies from environment - both versions are equivalent
filehandle = urllib.urlopen(some_url, proxies=None)
filehandle = urllib.urlopen(some_url)
声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn核实处理。