如何使用 Python 和 BeautifulSoup 从 Goodreads 中抓取数据

网络抓取是从网站收集数据的强大工具。无论您是收集产品评论、跟踪价格，还是在我们的例子中抓取 Goodreads 书籍，网络抓取都为数据驱动应用程序提供了无限的机会。

在这篇博文中，我们将探讨网页抓取的基础知识、Python BeautifulSoup 库的强大功能，并分解旨在抓取 Goodreads Choice Awards 数据的 Python 脚本。最后，我们将讨论如何将这些数据存储在 CSV 文件中以供进一步分析或应用。

Goodreads 是什么？

Goodreads 是全球最大的读者和图书推荐平台。它为用户提供了书评、作者详细信息和热门排名的访问权限。每年，Goodreads 都会举办 Goodreads 选择奖，读者投票选出他们最喜欢的各种类型的书籍，如小说、奇幻、浪漫等。这使得 Goodreads 成为网络抓取的理想目标，以收集有关热门书籍和作者的见解。

什么是网页抓取？

网络抓取涉及以自动方式从网站提取数据。它允许您收集和构建任务的信息，例如：

• 分析趋势和模式。
• 聚合评论或文章等内容。
• 提供机器学习模型或数据库。

设置您的环境

在深入了解脚本之前，您需要安装必要的库。

1. 安装Python

   确保您的系统上安装了 Python。

2. 安装所需的库

   使用 pip 安装所需的库：
   

   pip install beautifulsoup4
   pip install requests
   

   登录后复制

   登录后复制

   登录后复制

   请求：允许我们向 URL 发送 HTTP 请求并检索网页内容。

   BeautifulSoup：简化 HTML 解析和数据提取。

这些安装完成后，您就可以开始抓取了！

美丽汤简介

BeautifulSoup 是一个用于解析 HTML 和 XML 文档的 Python 库。它使开发人员能够导航页面结构、提取内容并将原始 HTML 转换为结构化格式。

BeautifulSoup 中的关键方法

以下是我们将在脚本中使用的一些基本方法：

• BeautifulSoup(html, 'html.parser')：初始化解析器并允许您处理 HTML 内容。
• soup.select(selector)：使用 CSS 选择器查找元素，例如类或标签。
• soup.find(class_='class_name')：定位具有指定类的元素的第一次出现。
• soup.find_parent(class_='class_name')：查找当前元素的父标签。
• soup.get('attribute')：从元素中检索属性的值，例如 href 或 src。

有关方法的完整列表，请查看 BeautifulSoup 文档。

设置脚本

让我们首先导入必要的库并定义自定义标头来模拟浏览器。这有助于避免被网站屏蔽。

pip install beautifulsoup4
pip install requests

抓取类别和书籍

我们首先定义 Goodreads 选择奖页面和主应用程序的 URL。我们将向 start_url 发送请求并获取网页内容。

from bs4 import BeautifulSoup as bs
import requests
import re
import csv

HEADERS = {
    "User-Agent": "Mozilla/5.0 (X11; Linux x86_64)...",
    "Accept-Language": "en-US, en;q=0.5",
}

每个类别都包含一个流派和指向其各自页面的链接。使用 soup.select，我们提取 .category 类下列出的所有类别。

接下来，迭代每个类别以获取流派名称及其页面 URL。

app_url = "https://www.goodreads.com"
start_url = "https://www.goodreads.com/choiceawards/best-books-2024"

res = requests.get(start_url, headers=HEADERS)
soup = bs(res.text, 'html.parser')

categories = soup.select('.category')

在这里，我们提取类别名称（流派）和类别页面 URL 以进行进一步处理。

我们将向每个category_url发送另一个请求并找到该类别下的所有书籍。

for index, category in enumerate(categories):
    genre = category.select('h4.category__copy')[0].text.strip()
    url = category.select('a')[0].get('href')
    category_url = f"{app_url}{url}"

category_books 将包含相应类别下所有书籍的列表。

提取图书数据

一旦我们有了书籍列表，我们将迭代每本书并提取数据。

提取投票

res = requests.get(category_url, headers=HEADERS)
soup = bs(res.text, 'html.parser')

category_books = soup.select('.resultShown a.pollAnswer__bookLink')

如果我们在 DOM 中看到，投票计数存在于类别元素的父元素中。所以我们需要使用find_parent方法来定位元素并提取投票数。

提取书名、作者和图片 URL

for book_index, book in enumerate(category_books):
    parent_tag = book.find_parent(class_='resultShown')
    votes = parent_tag.find(class_='result').text.strip()
    book_votes = clean_string(votes).split(" ")[0].replace(",", "")

提取每本书的 URL、封面图片 URL、标题和作者。

clean_string 函数确保标题格式整齐。您可以在脚本顶部定义它

book_url = book.get('href')
book_url_formatted = f"{app_url}{book_url}"
book_img = book.find('img')
book_img_url = book_img.get('src')
book_img_alt = book_img.get('alt')
book_title = clean_string(book_img_alt)
print(book_title)
book_name = book_title.split('by')[0].strip()
book_author = book_title.split('by')[1].strip()

提取更多书籍详细信息

要获取有关该书的更多详细信息，例如评分、评论等，我们将向 book_url_formatted 发送另一个请求。

def clean_string(string):
    cleaned = re.sub(r'\s+', ' ', string).strip()
    return cleaned

此处 get_ ratings_reviews 返回格式正确的评分和评论文本。

您可以在脚本顶部定义此函数。

pip install beautifulsoup4
pip install requests

通过导航到每本书的详细信息页面，可以提取评级、评论和详细描述等附加信息。在这里，我们还检查书籍描述元素是否存在，否则放置默认描述，以便脚本不会失败。

from bs4 import BeautifulSoup as bs
import requests
import re
import csv

HEADERS = {
    "User-Agent": "Mozilla/5.0 (X11; Linux x86_64)...",
    "Accept-Language": "en-US, en;q=0.5",
}

在这里，我们还收集了作者详细信息、出版信息和其他元数据。

创建图书词典

让我们将为一本书提取的所有数据存储在字典中。

app_url = "https://www.goodreads.com"
start_url = "https://www.goodreads.com/choiceawards/best-books-2024"

res = requests.get(start_url, headers=HEADERS)
soup = bs(res.text, 'html.parser')

categories = soup.select('.category')

我们将使用此字典将数据添加到 csv 文件中。

将数据存储在 CSV 文件中

我们将使用 csv 模块，它是 Python 标准库的一部分。所以不需要单独安装。

首先我们需要检查这是否是第一个条目。需要进行此检查才能将标题添加到 csv 文件的第一行中。

for index, category in enumerate(categories):
    genre = category.select('h4.category__copy')[0].text.strip()
    url = category.select('a')[0].get('href')
    category_url = f"{app_url}{url}"

我们使用 mode="w" 它将创建一个带有标题条目的新 csv 文件。

现在，对于所有后续条目，我们会将数据附加到 CSV 文件中：

res = requests.get(category_url, headers=HEADERS)
soup = bs(res.text, 'html.parser')

category_books = soup.select('.resultShown a.pollAnswer__bookLink')

mode="a" 会将数据附加到 CSV 文件。

现在，坐下来，放松一下，在脚本运行时享用一杯咖啡☕️。

完成后，最终数据将如下所示：

您可以在此 github 存储库中找到完整的源代码。

概括

我们已经学习了如何使用 Python 和 BeautifulSoup 抓取 Goodreads 数据。从基本设置到将数据存储在 CSV 文件中，我们探索了抓取过程的各个方面。抓取的数据可用于：

• 数据可视化（例如，最受欢迎的流派或作者）。
• 预测书籍受欢迎程度的机器学习模型。
• 构建个人图书推荐系统。

网络抓取为创意数据分析和应用开辟了可能性。有了 BeautifulSoup 这样的库，即使是复杂的抓取任务也变得易于管理。请记住在抓取时遵循道德规范并尊重网站的服务条款！

以上是如何使用 Python 和 BeautifulSoup 从 Goodreads 中抓取数据的详细内容。更多信息请关注PHP中文网其他相关文章！