Cara Mengikis Data Daripada Goodreads Menggunakan Python dan BeautifulSoup

Pengikisan web ialah alat yang berkuasa untuk mengumpul data daripada tapak web. Sama ada anda mengumpul ulasan produk, menjejak harga atau, dalam kes kami, mengikis buku Goodreads, mengikis web menyediakan peluang yang tidak berkesudahan untuk aplikasi terdorong data.

Dalam catatan blog ini, kami akan meneroka asas pengikisan web, kuasa perpustakaan Python BeautifulSoup dan memecahkan skrip Python yang direka untuk mengikis data Goodreads Choice Awards. Akhir sekali, kami akan membincangkan cara menyimpan data ini dalam fail CSV untuk analisis atau aplikasi lanjut.

Apakah itu Goodreads?

Goodreads ialah platform terbesar di dunia untuk pembaca dan cadangan buku. Ia memberikan pengguna akses kepada ulasan buku, butiran pengarang dan kedudukan popular. Setiap tahun, Goodreads menganjurkan Anugerah Pilihan Goodreads, tempat pembaca mengundi buku kegemaran mereka merentas pelbagai genre seperti fiksyen, fantasi, percintaan dan banyak lagi. Ini menjadikan Goodreads sasaran ideal untuk mengikis web untuk mengumpul cerapan tentang buku dan pengarang yang menjadi sohor kini.

Apakah Web Scraping?

Pengikisan web melibatkan pengekstrakan data daripada tapak web secara automatik. Ia membolehkan anda mengumpul dan menyusun maklumat untuk tugasan seperti:

• Menganalisis trend dan corak.
• Mengagregatkan kandungan seperti ulasan atau artikel.
• Menyuap model pembelajaran mesin atau pangkalan data.

Sediakan Persekitaran Anda

Sebelum menyelami skrip, anda perlu memasang perpustakaan yang diperlukan.

1. Pasang Python

   Pastikan anda telah memasang Python pada sistem anda.

2. Pasang Perpustakaan Diperlukan

   Pasang perpustakaan yang diperlukan menggunakan pip:
   

   pip install beautifulsoup4
   pip install requests
   

   Salin selepas log masuk

   Salin selepas log masuk

   Salin selepas log masuk

   permintaan: Membolehkan kami menghantar permintaan HTTP ke URL dan mendapatkan semula kandungan halaman web.

   BeautifulSoup: Memudahkan penghuraian HTML dan pengekstrakan data.

Setelah pemasangan ini selesai, anda sudah bersedia untuk mengikis!

Pengenalan kepada BeautifulSoup

BeautifulSoup ialah perpustakaan Python untuk menghuraikan dokumen HTML dan XML. Ia membolehkan pembangun menavigasi struktur halaman, mengekstrak kandungan dan mengubah HTML mentah kepada format berstruktur.

Kaedah Utama dalam BeautifulSoup

Berikut ialah beberapa kaedah penting yang akan kami gunakan dalam skrip kami:

• BeautifulSoup(html, 'html.parser'): Memulakan penghurai dan membolehkan anda bekerja dengan kandungan HTML.
• soup.select(selector): Cari elemen menggunakan pemilih CSS, seperti kelas atau teg.
• soup.find(class_='class_name'): Mengesan kejadian pertama elemen dengan kelas tertentu.
• soup.find_parent(class_='class_name'): Mencari teg induk bagi elemen semasa.
• soup.get('attribute'): Mengambil nilai atribut daripada elemen, seperti href atau src.

Untuk mendapatkan senarai lengkap kaedah, lihat dokumentasi BeautifulSoup.

Menyediakan Skrip

Mari mulakan dengan mengimport perpustakaan yang diperlukan dan menentukan pengepala tersuai untuk meniru penyemak imbas. Ini membantu mengelakkan daripada disekat oleh tapak web.

pip install beautifulsoup4
pip install requests

Mengikis Kategori dan Buku

Kami bermula dengan mentakrifkan URL untuk halaman Anugerah Pilihan Goodreads dan aplikasi utama. Kami akan menghantar permintaan untuk start_url dan mendapatkan kandungan halaman web.

from bs4 import BeautifulSoup as bs
import requests
import re
import csv

HEADERS = {
    "User-Agent": "Mozilla/5.0 (X11; Linux x86_64)...",
    "Accept-Language": "en-US, en;q=0.5",
}

Setiap kategori mengandungi genre dan pautan ke halaman masing-masing. Menggunakan soup.select, kami mengekstrak semua kategori yang disenaraikan di bawah kelas .category.

Seterusnya, ulangi setiap kategori untuk mendapatkan nama genre dan URL halamannya.

app_url = "https://www.goodreads.com"
start_url = "https://www.goodreads.com/choiceawards/best-books-2024"

res = requests.get(start_url, headers=HEADERS)
soup = bs(res.text, 'html.parser')

categories = soup.select('.category')

Di sini, kami mengekstrak nama kategori (genre) dan URL halaman kategori untuk pemprosesan selanjutnya.

Kami akan menghantar permintaan lain kepada setiap category_url dan mencari semua buku di bawah kategori itu.

for index, category in enumerate(categories):
    genre = category.select('h4.category__copy')[0].text.strip()
    url = category.select('a')[0].get('href')
    category_url = f"{app_url}{url}"

buku_kategori akan mengandungi senarai semua buku di bawah kategori masing-masing.

Mengekstrak Data Buku

Sebaik sahaja kami mempunyai senarai buku, kami akan mengulangi setiap buku dan mengekstrak data.

Ekstrak Undi

res = requests.get(category_url, headers=HEADERS)
soup = bs(res.text, 'html.parser')

category_books = soup.select('.resultShown a.pollAnswer__bookLink')

Jika kita lihat dalam DOM, kiraan undian terdapat dalam elemen induk bagi elemen kategori. Jadi kita perlu menggunakan kaedah find_parent untuk mencari elemen dan mengekstrak kiraan undian.

Ekstrak Tajuk Buku, Pengarang dan URL Imej

for book_index, book in enumerate(category_books):
    parent_tag = book.find_parent(class_='resultShown')
    votes = parent_tag.find(class_='result').text.strip()
    book_votes = clean_string(votes).split(" ")[0].replace(",", "")

URL setiap buku, URL imej muka depan, tajuk dan pengarang diekstrak.

Fungsi clean_string memastikan tajuk diformat dengan kemas. Anda boleh menentukannya di bahagian atas skrip

book_url = book.get('href')
book_url_formatted = f"{app_url}{book_url}"
book_img = book.find('img')
book_img_url = book_img.get('src')
book_img_alt = book_img.get('alt')
book_title = clean_string(book_img_alt)
print(book_title)
book_name = book_title.split('by')[0].strip()
book_author = book_title.split('by')[1].strip()

Ekstrak Lagi Butiran Buku

Untuk mendapatkan butiran lanjut tentang buku seperti rating, ulasan, dll., kami akan menghantar permintaan lain ke book_url_formatted.

def clean_string(string):
    cleaned = re.sub(r'\s+', ' ', string).strip()
    return cleaned

Di sini get_ratings_reviews mengembalikan teks penilaian dan ulasan yang diformat dengan baik.

Anda boleh menentukan fungsi ini di bahagian atas skrip.

pip install beautifulsoup4
pip install requests

Dengan menavigasi ke halaman butiran setiap buku, maklumat tambahan seperti penilaian, ulasan dan penerangan terperinci diekstrak. Di sini, kami juga menyemak sama ada elemen perihalan buku wujud sebaliknya meletakkan perihalan lalai supaya skrip tidak gagal.

from bs4 import BeautifulSoup as bs
import requests
import re
import csv

HEADERS = {
    "User-Agent": "Mozilla/5.0 (X11; Linux x86_64)...",
    "Accept-Language": "en-US, en;q=0.5",
}

Di sini, kami juga telah mengumpulkan butiran pengarang, maklumat penerbitan dan metadata lain.

Buat Kamus Buku

Mari simpan semua data yang telah kami ekstrak untuk sebuah buku dalam kamus.

app_url = "https://www.goodreads.com"
start_url = "https://www.goodreads.com/choiceawards/best-books-2024"

res = requests.get(start_url, headers=HEADERS)
soup = bs(res.text, 'html.parser')

categories = soup.select('.category')

Kami akan menggunakan kamus ini untuk menambah data dalam fail csv.

Menyimpan Data dalam Fail CSV

Kami akan menggunakan modul csv yang merupakan sebahagian daripada perpustakaan standard Python. Jadi anda tidak perlu memasangnya secara berasingan.

Mula-mula kita perlu menyemak sama ada ini adalah entri pertama. Semakan ini diperlukan untuk menambah pengepala dalam fail csv dalam baris pertama.

for index, category in enumerate(categories):
    genre = category.select('h4.category__copy')[0].text.strip()
    url = category.select('a')[0].get('href')
    category_url = f"{app_url}{url}"

Kami menggunakan mod="w" yang akan mencipta fail csv baharu dengan entri pengepala.

Sekarang untuk semua entri seterusnya, kami akan menambahkan data pada fail CSV:

res = requests.get(category_url, headers=HEADERS)
soup = bs(res.text, 'html.parser')

category_books = soup.select('.resultShown a.pollAnswer__bookLink')

mode="a" akan menambahkan data pada fail CSV.

Sekarang, duduk, berehat dan nikmati secawan kopi ☕️ sementara skrip berjalan.

Setelah selesai, data akhir akan kelihatan seperti ini:

Anda boleh mencari kod sumber lengkap dalam repositori github ini.

Ringkasan

Kami telah mempelajari cara mengikis data Goodreads menggunakan Python dan BeautifulSoup. Bermula daripada persediaan asas kepada menyimpan data dalam fail CSV, kami meneroka setiap aspek proses mengikis. Data yang dikikis boleh digunakan untuk:

• Visualisasi data (cth., genre atau pengarang yang paling popular).
• Model pembelajaran mesin untuk meramalkan populariti buku.
• Membina sistem pengesyoran buku peribadi.

Pengikisan web membuka kemungkinan untuk analisis dan aplikasi data kreatif. Dengan perpustakaan seperti BeautifulSoup, tugas mengikis yang rumit pun menjadi terurus. Ingatlah untuk mengikuti amalan beretika dan hormati syarat perkhidmatan tapak web sambil mengikis!

Atas ialah kandungan terperinci Cara Mengikis Data Daripada Goodreads Menggunakan Python dan BeautifulSoup. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!