Satu artikel akan membimbing anda melalui perpustakaan urllib dalam Python (URL pengendalian)

1. Memanipulasi URL

urllib menyediakan satu siri fungsi untuk memanipulasi URL. Kelaskan kandungan yang berkaitan.

2. Dapatkan()

urllib'srequestModul request模块可以非常方便地抓取URL内容，也就是发送一个GET请求到指定的页面，然后返回HTTP的响应：

例如，对豆瓣的URLhttps://api.growingio.com/v2/22c937bbd8ebd703f2d8e9445f7dfd03/web/pv?stm=1593747087078 boleh menangkap kandungan URL dengan mudah, iaitu menghantar permintaan GET ke halaman yang ditentukan, dan kemudian mengembalikan respons HTTP: Sebagai contoh, URL Douban

from urllib import request


with request.urlopen('https://api.growingio.com/v2/22c937bbd8ebd703f2d8e9445f7dfd03/web/pv?stm=1593747087078') as f:
    data = f.read()
    print('Status:', f.status, f.reason)
    for k, v in f.getheaders():
        print('%s: %s' % (k, v))
    print('Data:', data.decode('utf-8'))

Anda boleh melihat pengepala dan data JSON bagi respons HTTP:

Jika anda ingin menggunakan GET jika anda ingin mensimulasikan permintaan pelayarRequest对象，通过往Request对象添加HTTP头，就可以把请求伪装成浏览器。例如，模拟iPhone 6去请求豆瓣首页：

from urllib import request


req = request.Request('http://www.douban.com/')
req.add_header('User-Agent', 'Mozilla/6.0 (iPhone; CPU iPhone OS 8_0 like Mac OS X) AppleWebKit/536.26 (KHTML, like Gecko) Version/8.0 Mobile/10A5376e Safari/8536.25')
with request.urlopen(req) as f:
    print('Status:', f.status, f.reason)
    for k, v in f.getheaders():
        print('%s: %s' % (k, v))
    print('Data:', f.read().decode('utf-8'))

这样豆瓣会返回适合iPhone的移动版网页：

三、Post()

如果要以POST发送一个请求，只需要把参数data code style="box -sizing: border-box;font-family: var(--monospace);vertical-align: initial;border-width: 1px;border-style: solid;border-color: rgb(231, 234 , 237);background -color: rgb(243, 244, 244);border-radius: 3px;padding-right: 2px;padding-left: 2px;font-size: 0.9em;">Minta objek, dengan pergi ke
Permintaan</ Dengan menambahkan pengepala HTTP pada kod></p>🎜 objek, anda boleh menyamar permintaan itu sebagai penyemak imbas. Sebagai contoh, simulasi iPhone 6 untuk meminta halaman utama Douban: 🎜🎜🎜🎜<pre class='brush:php;toolbar:false;'>from urllib import request, parse print(&amp;#39;Login to weibo.cn...&amp;#39;) #电子邮件 email = input(&amp;#39;Email: &amp;#39;) #密码 passwd = input(&amp;#39;Password: &amp;#39;) #相关的参数 login_data = parse.urlencode([ (&amp;#39;username&amp;#39;, email), (&amp;#39;password&amp;#39;, passwd), (&amp;#39;entry&amp;#39;, &amp;#39;mweibo&amp;#39;), (&amp;#39;client_id&amp;#39;, &amp;#39;&amp;#39;), (&amp;#39;savestate&amp;#39;, &amp;#39;1&amp;#39;), (&amp;#39;ec&amp;#39;, &amp;#39;&amp;#39;), (&amp;#39;pagerefer&amp;#39;, &amp;#39;https://passport.weibo.cn/signin/welcome?entry=mweibo&amp;r=http%3A%2F%2Fm.weibo.cn%2F&amp;#39;) ]) #网址请求 req = request.Request(&amp;#39;https://passport.weibo.cn/sso/login&amp;#39;) req.add_header(&amp;#39;Origin&amp;#39;, &amp;#39;https://passport.weibo.cn&amp;#39;) #构造User-Agent req.add_header(&amp;#39;User-Agent&amp;#39;, &amp;#39;Mozilla/6.0 (iPhone; CPU iPhone OS 8_0 like Mac OS X) AppleWebKit/536.26 (KHTML, like Gecko) Version/8.0 Mobile/10A5376e Safari/8536.25&amp;#39;) req.add_header(&amp;#39;Referer&amp;#39;, &amp;#39;https://passport.weibo.cn/signin/login?entry=mweibo&amp;res=wel&amp;wm=3349&amp;r=http%3A%2F%2Fm.weibo.cn%2F&amp;#39;) with request.urlopen(req, data=login_data.encode(&amp;#39;utf-8&amp;#39;)) as f: print(&amp;#39;Status:&amp;#39;, f.status, f.reason) for k, v in f.getheaders(): print(&amp;#39;%s: %s&amp;#39; % (k, v)) print(&amp;#39;Data:&amp;#39;, f.read().decode(&amp;#39;utf-8&amp;#39;))</pre>🎜<p cid="n13" mdtype="paragraph" style="box-sizing: border-box;line-height: inherit;anak yatim: 4 ;margin -atas: 0.8em;margin-bottom: 0.8em;white-space: pra-bungkus;font-family: "Open Sans", "Clear Sans", "Helvetica Neue", Helvetica, Arial, "Segoe UI Emoji ", sans-serif;font-size: 16px;text-align: start;">🎜Dengan cara ini, Douban akan mengembalikan versi mudah alih halaman web yang sesuai untuk iPhone: 🎜🎜🎜🎜<img src="/static/imghw/default1.png" data-src="https://img.php.cn/upload/article/001/272/559/95e6e8965dd5ac2b6231e469adf6c889-4.png" class="lazy"/ alt="Satu artikel akan membimbing anda melalui perpustakaan urllib dalam Python (URL pengendalian)" >🎜🎜🎜🎜<h2 id="Tiga-Post">🎜Tiga, Post()🎜</h2>🎜<img src="/static/imghw/default1.png" data-src="https://img.php.cn/upload/article/001/272/559/95e6e8965dd5ac2b6231e469adf6c889-4.png" class="lazy"/ alt="Satu artikel akan membimbing anda melalui perpustakaan urllib dalam Python (URL pengendalian)" >🎜<p cid="n16" mdtype="paragraph" style="max-width:90%"Open Sans", "Clear Sans", "Helvetica Neue", Helvetica, Arial, "Segoe UI Emoji", sans-serif;font-size: 16px ;text-align: start;">🎜Jika anda ingin menghantar permintaan dengan POST, anda hanya perlu meletakkan parameter 🎜🎜<code style="box-sizing: border-box ;font-family: var(--monospace);vertical- align: initial;border-width: 1px;border-style: solid;border-color: rgb(231, 234, 237);background-color: rgb(243 , 244, 244);border-radius: 3px;padding- kanan: 2px;padding-left: 2px;font-size: 0.9em;">data🎜🎜 dihantar dalam bait. 🎜🎜🎜

模拟一个微博登录，先读取登录的邮箱和口令，然后按照weibo.cn的登录页的格式以username=xxx&password=xxx的编码传入：

from urllib import request, parse


print('Login to weibo.cn...')
#电子邮件
email = input('Email: ')
#密码
passwd = input('Password: ')
#相关的参数
login_data = parse.urlencode([
    ('username', email),
    ('password', passwd),
    ('entry', 'mweibo'),
    ('client_id', ''),
    ('savestate', '1'),
    ('ec', ''),
    ('pagerefer', 'https://passport.weibo.cn/signin/welcome?entry=mweibo&r=http%3A%2F%2Fm.weibo.cn%2F')
])
#网址请求
req = request.Request('https://passport.weibo.cn/sso/login')
req.add_header('Origin', 'https://passport.weibo.cn')
#构造User-Agent
req.add_header('User-Agent', 'Mozilla/6.0 (iPhone; CPU iPhone OS 8_0 like Mac OS X) AppleWebKit/536.26 (KHTML, like Gecko) Version/8.0 Mobile/10A5376e Safari/8536.25')
req.add_header('Referer', 'https://passport.weibo.cn/signin/login?entry=mweibo&res=wel&wm=3349&r=http%3A%2F%2Fm.weibo.cn%2F')


with request.urlopen(req, data=login_data.encode('utf-8')) as f:
    print('Status:', f.status, f.reason)
    for k, v in f.getheaders():
        print('%s: %s' % (k, v))
    print('Data:', f.read().decode('utf-8'))

如果登录成功，获得的响应如下：

如果登录失败，获得的响应如下：

四、Handler

如果还需要更复杂的控制，比如通过一个Proxy去访问网站，需要利用ProxyHandler来处理，示例代码如下：

import urllib.request


# 构建了两个代理Handler，一个有代理IP，一个没有代理IP


httpproxy_handler = urllib.request.ProxyHandler({"https": "27.191.234.69:9999"})


nullproxy_handler = urllib.request.ProxyHandler({})


# 定义一个代理开关


proxySwitch = True 


# 通过 urllib.request.build_opener()方法使用这些代理Handler对象，创建自定义opener对象


# 根据代理开关是否打开，使用不同的代理模式


if proxySwitch:


    opener = urllib.request.build_opener(httpproxy_handler)
else:
    opener = urllib.request.build_opener(nullproxy_handler)




request = urllib.request.Request("http://www.baidu.com/") 


# 1. 如果这么写，只有使用opener.open()方法发送请求才使用自定义的代理，而urlopen()则不使用自定义代理。


response = opener.open(request)


# 2. 如果这么写，就是将opener应用到全局，之后所有的，不管是opener.open()还是urlopen() 发送请求，都将使用自定义代理。


# urllib.request.install_opener(opener)


# response = urllib.request.urlopen(request)




# 获取服务器响应内容


html = response.read().decode("utf-8")
  
# 打印结果


print(html)

如果代理成功返回网址的信息。

Jika URL salah atau alamat proksi salah, kembali ke antara muka di bawah.

5. Ringkasan

Menggunakan bahasa Python boleh membantu semua orang belajar dengan lebih baik. Fungsi yang disediakan oleh urllib adalah untuk menggunakan program untuk melaksanakan pelbagai permintaan HTTP. Jika anda ingin mensimulasikan penyemak imbas untuk melengkapkan fungsi tertentu, anda perlu menyamar permintaan itu sebagai penyemak imbas. Kaedah penyamaran adalah dengan terlebih dahulu memantau permintaan yang dihantar oleh penyemak imbas, dan kemudian menyamarkannya berdasarkan pengepala permintaan pelayar Pengepala Ejen Pengguna digunakan untuk mengenal pasti penyemak imbas.