How Beautiful Soup digunakan untuk mengekstrak data daripada Web Awam

Beautiful Soup ialah perpustakaan Python yang digunakan untuk mengikis data daripada halaman web. Ia mencipta pokok parse untuk menghuraikan dokumen HTML dan XML, menjadikannya mudah untuk mengekstrak maklumat yang dikehendaki.

Sup Cantik menyediakan beberapa fungsi utama untuk mengikis web:

1. Menavigasi Pokok Parse: Anda boleh menavigasi pepohon parse dengan mudah dan mencari elemen, teg dan atribut.
2. Mengubah suai Pokok Parse: Ia membenarkan anda mengubah suai pepohon parse, termasuk menambah, mengalih keluar dan mengemas kini teg dan atribut.
3. Pemformatan Output: Anda boleh menukar semula pokok parse kepada rentetan, menjadikannya mudah untuk menyimpan kandungan yang diubah suai.

Untuk menggunakan Beautiful Soup, anda perlu memasang perpustakaan bersama-sama dengan parser seperti lxml atau html.parser. Anda boleh memasangnya menggunakan pip

#Install Beautiful Soup using pip.
pip install beautifulsoup4 lxml

Mengendalikan Penomboran

Apabila berurusan dengan tapak web yang memaparkan kandungan merentas berbilang halaman, pengendalian penomboran adalah penting untuk mengikis semua data.

1. Kenal pasti Struktur Penomboran: Periksa tapak web untuk memahami cara penomboran distrukturkan (cth., butang halaman seterusnya atau pautan bernombor).
2. Lelaran Pada Halaman: Gunakan gelung untuk melelaran setiap halaman dan mengikis data.
3. Kemas kini URL atau Parameter: Ubah suai URL atau parameter untuk mengambil kandungan halaman seterusnya.

import requests
from bs4 import BeautifulSoup

base_url = 'https://example-blog.com/page/'
page_number = 1
all_titles = []

while True:
    # Construct the URL for the current page
    url = f'{base_url}{page_number}'
    response = requests.get(url)
    soup = BeautifulSoup(response.content, 'html.parser')

    # Find all article titles on the current page
    titles = soup.find_all('h2', class_='article-title')
    if not titles:
        break  # Exit the loop if no titles are found (end of pagination)

    # Extract and store the titles
    for title in titles:
        all_titles.append(title.get_text())

    # Move to the next page
    page_number += 1

# Print all collected titles
for title in all_titles:
    print(title)

Mengekstrak Data Bersarang

Kadangkala, data yang anda perlu ekstrak bersarang dalam berbilang lapisan teg. Begini cara mengendalikan pengekstrakan data bersarang.

1. Navigasi ke Teg Induk: Cari teg induk yang mengandungi data bersarang.
2. Ekstrak Teg Bersarang: Dalam setiap teg induk, cari dan ekstrak teg bersarang.
3. Lelaran Melalui Teg Bersarang: Lelaran melalui teg bersarang untuk mengekstrak maklumat yang diperlukan.

import requests
from bs4 import BeautifulSoup

url = 'https://example-blog.com/post/123'
response = requests.get(url)
soup = BeautifulSoup(response.content, 'html.parser')

# Find the comments section
comments_section = soup.find('div', class_='comments')

# Extract individual comments
comments = comments_section.find_all('div', class_='comment')

for comment in comments:
    # Extract author and content from each comment
    author = comment.find('span', class_='author').get_text()
    content = comment.find('p', class_='content').get_text()
    print(f'Author: {author}\nContent: {content}\n')

Mengendalikan Permintaan AJAX

Banyak tapak web moden menggunakan AJAX untuk memuatkan data secara dinamik. Mengendalikan AJAX memerlukan teknik yang berbeza, seperti memantau permintaan rangkaian menggunakan alat pembangun penyemak imbas dan mereplikasi permintaan tersebut dalam pengikis anda.

import requests
from bs4 import BeautifulSoup

# URL to the API endpoint providing the AJAX data
ajax_url = 'https://example.com/api/data?page=1'
response = requests.get(ajax_url)
data = response.json()

# Extract and print data from the JSON response
for item in data['results']:
    print(item['field1'], item['field2'])

Risiko Pengikisan Web

Pengikisan web memerlukan pertimbangan yang teliti terhadap risiko undang-undang, teknikal dan etika. Dengan melaksanakan perlindungan yang sesuai, anda boleh mengurangkan risiko ini dan menjalankan pengikisan web secara bertanggungjawab dan berkesan.

• Pelanggaran Syarat Perkhidmatan: Banyak tapak web secara jelas melarang pengikisan dalam Syarat Perkhidmatan (ToS) mereka. Melanggar syarat ini boleh membawa kepada tindakan undang-undang.
• Isu Harta Intelek: Mengikis kandungan tanpa kebenaran boleh melanggar hak harta intelek, yang membawa kepada pertikaian undang-undang.
• Penyekatan IP: Tapak web mungkin mengesan dan menyekat alamat IP yang menunjukkan tingkah laku mengikis.
• Larangan Akaun: Jika pengikisan dilakukan pada tapak web yang memerlukan pengesahan pengguna, akaun yang digunakan untuk mengikis mungkin akan diharamkan.

Beautiful Soup ialah perpustakaan berkuasa yang memudahkan proses mengikis web dengan menyediakan antara muka yang mudah digunakan untuk menavigasi dan mencari dokumen HTML dan XML. Ia boleh mengendalikan pelbagai tugas penghuraian, menjadikannya alat penting untuk sesiapa sahaja yang ingin mengekstrak data daripada web.

Atas ialah kandungan terperinci How Beautiful Soup digunakan untuk mengekstrak data daripada Web Awam. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!