pembangunan bahagian belakang
Tutorial Python
Perhatikan perbezaan antara perpustakaan urllib dan perpustakaan permintaan dalam Python
Perhatikan perbezaan antara perpustakaan urllib dan perpustakaan permintaan dalam Python
1. Pengenalan
Apabila menggunakan perangkak Python, anda perlu mensimulasikan permintaan rangkaian. Pustaka utama yang digunakan ialah perpustakaan permintaan dan perpustakaan urllib terbina dalam gunakan permintaan, yang merupakan lanjutan daripada urllib yang dikapsulkan semula.
Apakah perbezaan antara mereka?
Berikut adalah penjelasan terperinci melalui kes untuk memahami perbezaan utama dalam penggunaannya.
2. urllib library
Pengenalan: Objek respons perpustakaan urllib mula-mula mencipta http dan meminta objek, dan kemudian memuatkannya ke dalam reques.urlopen untuk melengkapkan permintaan http.
Apa yang dikembalikan ialah http, objek tindak balas, yang sebenarnya adalah atribut html. Gunakan .read().decode() untuk menyahkod dan menukarnya kepada jenis rentetan str Selepas penyahkodan, aksara Cina boleh dipaparkan.
Contoh:
from urllib import request
#请求头
headers = {
"User-Agent": 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/64.0.3282.186 Safari/537.36'
}
wd = {"wd": "中国"}
url = "http://www.baidu.com/s?"
req = request.Request(url, headers=headers)
response = request.urlopen(req)
print(type(response))
print(response)
res = response.read().decode()
print(type(res))
print(res)Hasil larian:
Biasanya merangkak halaman web, apabila membina permintaan http, anda perlu Tambah beberapa maklumat tambahan, seperti Ejen Pengguna, kuki, dsb., atau tambah pelayan proksi. Selalunya ini adalah mekanisme anti-merangkak yang diperlukan.
三、requests库
简介：requests库调用是requests.get方法传入url和参数，返回的对象是Response对象，打印出来是显示响应状态码。
通过.text 方法可以返回是unicode 型的数据，一般是在网页的header中定义的编码形式，而content返回的是bytes，二级制型的数据，还有 .json方法也可以返回json字符串。
如果想要提取文本就用text，但是如果你想要提取图片、文件等二进制文件，就要用content，当然decode之后，中文字符也会正常显示。
requests的优势：Python爬虫时，更建议用requests库。因为requests比urllib更为便捷，requests可以直接构造get，post请求并发起，而urllib.request只能先构造get，post请求，再发起。
例：
import requests
headers = {
"User-Agent": "Mozilla/5.0 (Linux; U; Android 8.1.0; zh-cn; BLA-AL00 Build/HUAWEIBLA-AL00) AppleWebKit/537.36 (KHTML, like Gecko) Version/4.0 Chrome/57.0.2987.132 MQQBrowser/8.9 Mobile Safari/537.36"
}
wd = {"wd": "中国"}
url = "http://www.baidu.com/s?"
response = requests.get(url, params=wd, headers=headers)
data = response.text
data2 = response.content
print(response)
print(type(response))
print(data)
print(type(data))
print(data2)
print(type(data2))
print(data2.decode())
print(type(data2.decode()))运行结果 （可以直接获取整网页的信息，打印控制台）：
四、总结
1. 本文基于Python基础，主要介绍了urllib库和requests库的区别。
2. 在使用urllib内的request模块时，返回体获取有效信息和请求体的拼接需要decode和encode后再进行装载。进行http请求时需先构造get或者post请求再进行调用，header等头文件也需先进行构造。
3. requests是对urllib的进一步封装，因此在使用上显得更加的便捷，建议在实际应用当中尽量使用requests。
4. 希望能给一些对爬虫感兴趣，有一个具体的概念。方法只是一种工具，试着去爬一爬会更容易上手，网络也会有很多的坑，做爬虫更需要大量的经验来应付复杂的网络情况。
5. 希望大家一起探讨学习， 一起进步。
Atas ialah kandungan terperinci Perhatikan perbezaan antara perpustakaan urllib dan perpustakaan permintaan dalam Python. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!
Alat AI Hot
Undress AI Tool
Gambar buka pakaian secara percuma
Undresser.AI Undress
Apl berkuasa AI untuk mencipta foto bogel yang realistik
AI Clothes Remover
Alat AI dalam talian untuk mengeluarkan pakaian daripada foto.
Clothoff.io
Penyingkiran pakaian AI
Video Face Swap
Tukar muka dalam mana-mana video dengan mudah menggunakan alat tukar muka AI percuma kami!
Artikel Panas
Alat panas
Notepad++7.3.1
Editor kod yang mudah digunakan dan percuma
SublimeText3 versi Cina
Versi Cina, sangat mudah digunakan
Hantar Studio 13.0.1
Persekitaran pembangunan bersepadu PHP yang berkuasa
Dreamweaver CS6
Alat pembangunan web visual
SublimeText3 versi Mac
Perisian penyuntingan kod peringkat Tuhan (SublimeText3)
Apakah strategi umum untuk menyahpepijat kebocoran memori di Python?
Aug 06, 2025 pm 01:43 PM
Usetracemalloctotrackmemoryallocationsandidentifyhigh-memorylines;2.Monitorobjectcountswithgcandobjgraphtodetectgrowingobjecttypes;3.Inspectreferencecyclesandlong-livedreferencesusingobjgraph.show_backrefsandcheckforuncollectedcycles;4.Usememory_prof
Apakah analisis sentimen dalam perdagangan cryptocurrency?
Aug 14, 2025 am 11:15 AM
Jadual Kandungan Apakah analisis sentimen dalam perdagangan cryptocurrency? Mengapa analisis sentimen penting dalam sumber pelaburan cryptocurrency sumber data emosi a. Platform Media Sosial b. Media berita c. Alat untuk analisis sentimen dan teknologi alat yang biasa digunakan dalam analisis sentimen: Teknik yang diterima pakai: Mengintegrasikan analisis sentimen ke dalam strategi perdagangan bagaimana peniaga menggunakannya: Strategi Contoh: Dengan mengandaikan senario senario perdagangan BTC Penetapan: Isyarat Emosi: Tafsiran Pedagang: Keputusan: Batasan dan Risiko Analisis Sentimen Menggunakan Emosi Kajian 2025 baru -baru ini oleh Hamid
Bagaimana untuk mengautomasikan kemasukan data dari Excel ke borang web dengan Python?
Aug 12, 2025 am 02:39 AM
Kaedah mengisi data Excel ke dalam bentuk web menggunakan Python adalah: pertama menggunakan panda untuk membaca data Excel, dan kemudian gunakan selenium untuk mengawal penyemak imbas untuk mengisi secara automatik dan menyerahkan borang; Langkah -langkah khusus termasuk memasang pandas, openpyxl dan perpustakaan selenium, memuat turun pemacu penyemak imbas yang sepadan, menggunakan pandas untuk membaca nama, e -mel, telefon dan medan lain dalam fail data.xlsx, melancarkan pelayar melalui selenium untuk membuka. Bentuk dan proses semua baris data dalam gelung.
Cara Menggunakan Enumerate Untuk Loop Dengan Indeks Di Python
Aug 11, 2025 pm 01:14 PM
Apabila anda perlu melintasi urutan dan mengakses indeks, anda harus menggunakan fungsi penghitungan (). 1. Enumerate () secara automatik menyediakan indeks dan nilai, yang lebih ringkas daripada julat (len (urutan)); 2. Anda boleh menentukan indeks permulaan melalui parameter Mula, seperti Start = 1 untuk mencapai kiraan berasaskan 1; 3. Anda boleh menggunakannya dalam kombinasi dengan logik bersyarat, seperti melangkau item pertama, mengehadkan bilangan gelung atau memformat output; 4. Berkenaan dengan mana -mana objek yang boleh dipercayai seperti senarai, rentetan, dan tupel, dan elemen sokongan yang membongkar; 5. Meningkatkan kebolehbacaan kod, elakkan menguruskan kaunter secara manual, dan mengurangkan kesilapan.
Cara menyalin fail dan direktori dari satu lokasi ke lokasi yang lain di Python
Aug 11, 2025 pm 06:11 PM
Untuk menyalin fail dan direktori, modul Shutil Python menyediakan pendekatan yang cekap dan selamat. 1. Gunakan shutil.copy () atau shutil.copy2 () untuk menyalin satu fail, yang mengekalkan metadata; 2. Gunakan shutil.copytree () untuk menyalin keseluruhan direktori. Direktori sasaran tidak boleh wujud terlebih dahulu, tetapi sasaran boleh dibenarkan wujud melalui dirs_exist_ok = true (python3.8); 3. Anda boleh menapis fail tertentu dalam kombinasi dengan parameter abaikan dan shutil.ignore_patterns () atau fungsi tersuai; 4. Direktori menyalin hanya memerlukan os.walk () dan os.makedirs ()
Bagaimana menggunakan Python untuk analisis dan ramalan pasaran saham?
Aug 11, 2025 pm 06:56 PM
Python boleh digunakan untuk analisis pasaran saham dan ramalan. Jawapannya adalah ya. Dengan menggunakan perpustakaan seperti yfinance, menggunakan panda untuk pembersihan data dan kejuruteraan ciri, menggabungkan matplotlib atau seaborn untuk analisis visual, kemudian menggunakan model seperti Arima, Hutan Rawak, XGBoost atau LSTM untuk membina sistem ramalan, dan menilai prestasi melalui backtesting. Akhirnya, permohonan itu boleh digunakan dengan Flask atau Fastapi, tetapi perhatian harus dibayar kepada ketidakpastian ramalan pasaran, risiko overfitting dan kos urus niaga, dan kejayaan bergantung kepada kualiti data, reka bentuk model dan jangkaan yang munasabah.
Bagaimana untuk melaksanakan Iterator tersuai dalam kelas Python?
Aug 06, 2025 pm 01:17 PM
Define__iter __ () toreturntheiteratorObject, biasanya selforaseparateiteratorinstance.2.define__next __ () toreturnthenextvalueanddraisestopiterationWhenexhausted.tocreateareusablecustomiterator, urusan
Bagaimana cara mencetak fail JSON di Python?
Aug 07, 2025 pm 12:10 PM
Untuk mencantikkan dan mencetak fail JSON, anda perlu menggunakan parameter indent modul JSON. Langkah -langkah khusus ialah: 1. Gunakan json.load () untuk membaca data fail JSON; 2. Gunakan json.dump () dan tetapkan indent kepada 4 atau 2 untuk menulis ke fail baru, dan kemudian fail JSON yang diformat boleh dihasilkan dan percetakan yang dihiasi dapat diselesaikan.
