Scrapy lernen: Grundlagen bis Fortgeschrittene

Scrapy-Installations-Tutorial: Vom Einstieg bis zur Beherrschung sind spezifische Codebeispiele erforderlich

Einführung:
Scrapy ist ein leistungsstarkes Python-Open-Source-Webcrawler-Framework, das zum Crawlen von Webseiten, zum Extrahieren von Daten sowie zum Durchführen von Datenbereinigung und -persistenz verwendet werden kann Warten Sie auf eine Reihe von Aufgaben. Dieser Artikel führt Sie Schritt für Schritt durch den Scrapy-Installationsprozess und stellt spezifische Codebeispiele bereit, die Ihnen dabei helfen, von den ersten Schritten bis zur Beherrschung des Scrapy-Frameworks zu gelangen.

1. Scrapy installieren
Um Scrapy zu installieren, stellen Sie zunächst sicher, dass Sie Python und pip installiert haben. Öffnen Sie dann ein Befehlszeilenterminal und geben Sie den folgenden Befehl zur Installation ein:

pip install scrapy

Der Installationsvorgang kann einige Zeit dauern, bitte haben Sie etwas Geduld. Wenn Sie Berechtigungsprobleme haben, versuchen Sie, dem Befehlsudovoranzustellen.sudo。

二、创建Scrapy项目
安装完成后，我们可以使用Scrapy的命令行工具创建一个新的Scrapy项目。在命令行终端中，进入您想要创建项目的目录，并执行以下命令：

scrapy startproject tutorial

这将在当前目录下创建一个名为"tutorial"的Scrapy项目文件夹。进入该文件夹，我们可以看到如下的目录结构：

tutorial/ scrapy.cfg tutorial/ __init__.py items.py middlewares.py pipelines.py settings.py spiders/ __init__.py

其中，scrapy.cfg是Scrapy项目的配置文件，tutorial文件夹是我们自己的代码文件夹。

三、定义爬虫
在Scrapy中，我们使用爬虫（spider）来定义抓取网页和提取数据的规则。在spiders目录下创建一个新的Python文件，命名为quotes_spider.py（可以根据实际需求自行命名），然后使用以下代码定义一个简单的爬虫：

import scrapy class QuotesSpider(scrapy.Spider): name = "quotes" start_urls = [ 'http://quotes.toscrape.com/page/1/', ] def parse(self, response): for quote in response.css('div.quote'): yield { 'text': quote.css('span.text::text').get(), 'author': quote.css('span small::text').get(), } next_page = response.css('li.next a::attr(href)').get() if next_page is not None: yield response.follow(next_page, self.parse)

在上述代码中，我们创建了一个名为QuotesSpider的爬虫。其中，name属性是爬虫的名称，start_urls属性是我们希望抓取的第一个页面的URL，parse方法是爬虫默认的解析方法，用于解析网页和提取数据。

四、运行爬虫
在命令行终端中，进入项目的根目录下（即tutorial文件夹），并执行以下命令来启动爬虫并开始抓取数据：

scrapy crawl quotes

爬虫将会开始抓取初始URL中的页面，并根据我们定义的规则进行解析和提取数据。

五、保存数据
一般情况下，我们会将抓取到的数据进行保存。在Scrapy中，我们可以使用Item Pipeline来实现数据的清洗、处理和存储。在pipelines.py文件中，添加以下代码：

import json class TutorialPipeline: def open_spider(self, spider): self.file = open('quotes.json', 'w') def close_spider(self, spider): self.file.close() def process_item(self, item, spider): line = json.dumps(dict(item)) + " " self.file.write(line) return item

在上述代码中，我们创建了一个名为TutorialPipeline的Item Pipeline。其中，open_spider方法在爬虫启动时会被调用，用于初始化文件；close_spider方法在爬虫结束时会被调用，用于关闭文件；process_item方法会对每个抓取到的数据项进行处理和保存。

六、配置Scrapy项目
在settings.py文件中，可以对Scrapy项目进行各种配置。以下是一些常用的配置项：

• ROBOTSTXT_OBEY：是否遵守robots.txt协议；
• USER_AGENT：设置用户代理，在爬虫中可以模拟不同的浏览器；
• ITEM_PIPELINES：启用和配置Item Pipeline；
• DOWNLOAD_DELAY
2. Erstellen Sie ein Scrapy-Projekt

rrreee
Dadurch wird ein Scrapy-Projektordner mit dem Namen „tutorial“ im aktuellen Verzeichnis erstellt. Wenn wir den Ordner betreten, sehen wir die folgende Verzeichnisstruktur: