Python Scrawy Crawler Beispiel

Installieren Sie zuerst Scrapy und erstellen Sie ein Projekt, 2. Definieren Sie die Elementdatenstruktur, 3. Schreiben Sie Spider Crawler, um berühmte Zitate, Autoren und Tags zu extrahieren und Paging zu implementieren. Führen Sie den Crawler aus und speichern Sie das Ergebnis als JSON- oder CSV -Datei mit dem Parameter -Par, 5. Optional Konfigurationseinstellungen.

Hier ist ein einfaches Beispiel für Python Scrawler für Crawling berühmte Zitate und Autoreninformationen auf einer Testwebsite (nimmt //m.sbmmt.com/link/8d5c2ad003c431f38dfd7c65e0f3d2eb als Beispiel). Dieses Beispiel eignet sich für Anfänger, um schnell mit Scrapy zu beginnen.

✅ 1.

Wenn Sie Scrapy nicht installiert haben, führen Sie es zuerst aus:

 PIP Installieren Sie Scrapy

✅ 2. Erstellen Sie ein Scrapy -Projekt

Im Terminal ausführen:

 Scrapy startProject zites_spider
CD Quotes_spider

Dies erzeugt die Projektverzeichnisstruktur:

 zites_spider/
    Scrapy.cfg
    zites_spider/
        __init__.py
        items.py
        pipelines.py
        Einstellungen.Py
        Spinnen/
            __init__.py

✅ 3. Definieren Sie Element (optional, aber empfohlen)

Bearbeiten Sie items.py , um die Datenstruktur zu definieren, die wir crawlen möchten:

 Scrapy importieren

Klasse QuoteItem (Scrapy.Item):
    text = Scrapy.field ()
    Autor = Scrapy.field ()
    Tags = Scrapy.field ()

✅ 4. Schreiben Sie eine Crawler -Spinne

Erstellen Sie die Datei quote_spider.py im spiders/ Verzeichnis:

 Scrapy importieren
von Quotes_spider.Items importieren Sie QUOTEITEM

Klassenquotesspider (Scrapy.spider):
    name = 'zites' '
    start_urls = ['//m.sbmmt.com/link/8d5c2ad003c431f38dfd7c65e0f3d2eb/']

    Def Parse (Selbst, Antwort):
        # ENGEGEBENDE ZITF ZITTE FÜR ZEIT als Antwort.css ('Div.quote'):
            item = quoteItem ()
            item ['text'] = quote.css ('span.text :: text'). get ()
            item ['Autor'] = quote.css ('small.author::text'). get ()
            item ['tags'] = quote.css ('div.tags a.tag :: text'). getAll ()

            Ertragsartikel

        # Den Link "Next Page" finden und folgen Sie nächsten_Page = response.css ('li.Next a :: attr (href)'). Get ()
        Wenn Next_Page nicht ist:
            Ertragsantwort.follow (Next_Page, Callback = self.Parse)

veranschaulichen:

• name : Crawler -Name, verwendet beim Start.
• start_urls : START -Seite.
• parse() : Analysieren Sie den Antwortinhalt.
• Verwenden Sie den CSS -Selektor, um Daten zu extrahieren.
• response.follow() : Verarbeiten Sie die relative URL automatisch und starten Sie neue Anforderungen.

✅ 5. Run Crawler rennen

Führen Sie es nach dem Speichern im Projekt Root Directory aus:

 Scrawy Crawl -Zitate

Sie werden die Ausgabe ähnlich sehen wie:

 {'text': '"Die Welt, wie wir geschaffen haben, ist ein Prozess unseres Denkens ...', 
 'Autor': 'Albert Einstein', 
 'Tags': ['Veränderung', 'tiefgedacht', 'Denken', 'Welt']}}

✅ 6. In der Datei speichern (JSON/CSV)

Sie können die Ergebnisse direkt in eine Datei exportieren:

 Scrawy Crawl Quotes -o zitate.json

Oder als CSV exportieren:

 Scrawy Crawl Zitate -o zitate.csv

Die Datei wird im Verzeichnis quotes_spider/ root generiert.

✅ 7. Einstellungen (optionale Optimierung)

Ändern Sie settings.py , um Verzögerungen, Benutzer-Agent usw. festzulegen:

 # Settings.py
User_agent = 'mybot/1.0' '

Robotstxt_obey = true

Download_delay = 1

# Pipeline aktivieren (wenn Daten erforderlich sind)
Item_pipelines = {
   'quotes_spider.pipelines.quotessspiderpipeline': 300,,
}

✅ Zusammenfassung: Schlüsselpunkte

• scrapy crawl <name></name> startet den Crawler.
• Verwenden Sie css() oder xpath() um Daten zu extrahieren.
• yield response.follow() implementiert Pagination.
• -o -Parameter exportieren Daten in Datei.
• Befolgen Sie die Regeln robots.txt und Website Crawling.

Dieses Beispiel zeigt die grundlegende Verwendung von Scrapy. Sie können es erweitern, um sich anzumelden, JavaScript (in Kombination mit Splash oder Dramatikern), Deduplizierung, in der Datenbank zu speichern und vieles mehr.

Grundsätzlich alles, was nicht kompliziert, aber praktisch genug ist.

Das obige ist der detaillierte Inhalt vonPython Scrawy Crawler Beispiel. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!