Bagaimana untuk mendapatkan data rangkaian menggunakan perangkak web Python

Dapatkan data rangkaian menggunakan Python

Mendapatkan data daripada Internet menggunakan bahasa Python adalah tugas yang sangat biasa. Python mempunyai perpustakaan yang dipanggil permintaan, yang merupakan perpustakaan klien HTTP untuk Python yang digunakan untuk membuat permintaan HTTP ke pelayan web.

Kami boleh menggunakan perpustakaan permintaan untuk memulakan permintaan HTTP ke URL yang ditentukan melalui kod berikut:

import requests
response = requests.get(&#39;<http://www.example.com>&#39;)

Di mana, objek response akan mengandungi respons yang dikembalikan oleh pelayan. Gunakan response.text untuk mendapatkan kandungan teks jawapan.

Selain itu, kami juga boleh menggunakan kod berikut untuk mendapatkan sumber binari:

import requests
response = requests.get(&#39;<http://www.example.com/image.png>&#39;)
with open(&#39;image.png&#39;, &#39;wb&#39;) as f:
    f.write(response.content)

Gunakan response.content untuk mendapatkan data binari yang dikembalikan oleh pelayan.

Menulis kod perangkak

Merangkak ialah program automatik yang merangkak data halaman web melalui rangkaian dan menyimpannya dalam pangkalan data atau fail. Crawler digunakan secara meluas dalam pengumpulan data, pemantauan maklumat, analisis kandungan dan bidang lain. Bahasa Python ialah bahasa yang biasa digunakan untuk penulisan crawler kerana ia mempunyai kelebihan mudah dipelajari, mempunyai jumlah kod yang kecil dan perpustakaan yang kaya.

Kami mengambil "Filem Douban" sebagai contoh untuk memperkenalkan cara menggunakan Python untuk menulis kod perangkak. Mula-mula, kami menggunakan perpustakaan permintaan untuk mendapatkan kod HTML halaman web, kemudian merawat keseluruhan kod sebagai rentetan panjang dan menggunakan kumpulan tangkapan ungkapan biasa untuk mengekstrak kandungan yang diperlukan daripada rentetan.

Alamat halaman Douban Movie Top250 ialah https://movie.douban.com/top250?start=0, dengan parameter start menunjukkan filem mana untuk mula diambil. Sebanyak 25 filem dipaparkan pada setiap halaman Jika kita ingin mendapatkan data Top250, kita perlu melawati sebanyak 10 halaman Alamat yang sepadan ialah https://movie.douban.com/top250?start=xxx di sini xxx halaman pertama. Jika 0 Nilainya ialah xxx, maka kita boleh mengakses halaman kelima. 100

import re
import requests
import time
import random
for page in range(1, 11):
    resp = requests.get(
        url=f&#39;<https://movie.douban.com/top250?start=>{(page - 1) * 25}&#39;,
        headers={&#39;User-Agent&#39;: &#39;Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.159 Safari/537.36&#39;}
    )
    # 通过正则表达式获取class属性为title且标签体不以&开头的span标签并用捕获组提取标签内容
    pattern1 = re.compile(r&#39;<span class="title">([^&]*?)</span>&#39;)
    titles = pattern1.findall(resp.text)
    # 通过正则表达式获取class属性为rating_num的span标签并用捕获组提取标签内容
    pattern2 = re.compile(r&#39;<span class="rating_num".*?>(.*?)</span>&#39;)
    ranks = pattern2.findall(resp.text)
    # 使用zip压缩两个列表，循环遍历所有的电影标题和评分
    for title, rank in zip(titles, ranks):
        print(title, rank)
    # 随机休眠1-5秒，避免爬取页面过于频繁
    time.sleep(random.random() * 4 + 1)

untuk memampatkan kedua-dua senarai dan gelung melalui semua tajuk dan rating filem. zip

import requests
proxies = {
    &#39;http&#39;: &#39;<http://username:password@ip>:port&#39;,
    &#39;https&#39;: &#39;<https://username:password@ip>:port&#39;
}
response = requests.get(&#39;<http://www.example.com>&#39;, proxies=proxies)

dan username ialah nama pengguna dan kata laluan akaun proksi cendawan masing-masing, dan password dan ip masing-masing adalah Alamat IP dan nombor port pelayan proksi. Ambil perhatian bahawa pembekal proksi yang berbeza mungkin mempunyai kaedah akses yang berbeza dan perlu diubah suai dengan sewajarnya mengikut situasi sebenar. port

Atas ialah kandungan terperinci Bagaimana untuk mendapatkan data rangkaian menggunakan perangkak web Python. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!