Exemple de robot de crawler de scroty Python

Installez d'abord Scrapy et créez un projet, 2. Définissez la structure des données de l'élément, 3. Écrivez Crawler Spider pour extraire des citations, des auteurs et des balises célèbres et implémentez le paginage, 4. Exécutez le Crawler et enregistrez le résultat en tant que fichier JSON ou CSV en utilisant le paramètre -o, 5. Configurer éventuellement des paramètres.

Voici un simple exemple de robot de crampon Python pour les citations célèbres et les informations sur les auteurs sur un site Web de test (en prenant //m.sbmmt.com/link/8d5c2ad003c431f38dfd7c65e0f3d2eb à l'exemple). Cet exemple convient aux débutants pour commencer rapidement avec le scrapy.

✅ 1. Installer le scrapy

Si vous n'avez pas installé Scrapy, exécutez-le d'abord:

 PIP Install Scrapy

✅ 2. Créez un projet de scracy

Exécuter dans le terminal:

 Scrapy StartProject Quotes_spider
CD COTES_SPIDER

Cela génère la structure du répertoire du projet:

 Quotes_spider /
    scrapy.cfg
    Quotes_spider /
        __init__.py
        items.py
        pipelines.py
        Settings.py
        araignées /
            __init__.py

✅ 3. Définir l'article (facultatif, mais recommandé)

Modifier items.py pour définir la structure de données que nous voulons ramper:

 Scrapie d'importation

QuoteItem de classe (Scrapy.item):
    text = scrapy.field ()
    auteur = scrapy.field ()
    Tags = scrapy.field ()

✅ 4. Écrivez une araignée du robot

Créez le fichier quote_spider.py dans spiders/ répertoire:

 Scrapie d'importation
à partir de Quotes_spider.items Import QuoteItem

Class QuosessPider (Scrapy.spider):
    name = 'citations'
    start_urls = ['//m.sbmmt.com/link/8d5c2ad003c431f38dfd7c65e0f3d2eb/']

    Def Parse (soi, réponse):
        # Extraire chaque devis pour le devis dans Response.css ('div.quote'):
            item = quoteItem ()
            élément ['text'] = quote.css ('span.text :: text'). get ()
            item ['auteur'] = quote.css ('small.author::text'). get ()
            item ['tags'] = quote.css ('div.tags a.tag :: text'). getall ()

            élément de rendement

        # Trouver le lien "page suivante" et suivre next_page = réponse.css ('li.next a :: att (href)'). Get ()
        Si Next_Page n'est pas nul:
            rendement réponse.follow (next_page, callback = self.parse)

illustrer:

• name : nom de robot, utilisé au démarrage.
• start_urls : page Démarrer.
• parse() : analyser le contenu de la réponse.
• Utilisez le sélecteur CSS pour extraire les données.
• response.follow() : traitez automatiquement l'URL relative et iniiez de nouvelles demandes.

✅ 5. Crawler coure

Après enregistrer, exécutez-le dans le répertoire racine du projet:

 Citations de crawl de scracy

Vous verrez la sortie similaire à:

 {'texte': "" Le monde comme nous l'avons créé, c'est un processus de notre pensée ... ", 
 «Auteur»: «Albert Einstein», 
 «Tags»: [«Changement», «Throughts profondément», «Thinking», «Monde»]}

✅ 6. Enregistrer dans le fichier (JSON / CSV)

Vous pouvez exporter les résultats directement vers un fichier:

 Scrapy Crawl Quotes -o Quotes.json

Ou exporter comme CSV:

 Quotes de crawl de scroty -o citations.csv

Le fichier est généré dans quotes_spider/ racine.

✅ 7. Paramètres (optimisation facultative)

Modifier settings.py pour définir le retard, l'agent utilisateur, etc.:

 # settings.py
User_agent = 'mybot / 1.0'

Robotstxt_obey = true

Téléchargement_delay = 1

# Activer le pipeline (si des données sont requises)
Item_pipelines = {
   'Quotes_spider.pipelines.quoSSPiderPipeline': 300,
}

✅ Résumé: points clés

• scrapy crawl <name></name> démarre le robot.
• Utilisez css() ou xpath() pour extraire les données.
• yield response.follow() implémente la pagination.
• -o Paramètres Exporter des données vers le fichier.
• Suivez robots.txt et les règles de rampage du site Web.

Cet exemple montre l'utilisation de base de Scrapy. Vous pouvez l'étendre pour vous connecter, gérer JavaScript (en combinaison avec Splash ou Playwright), la déduplication, le stockage dans la base de données, etc.

Fondamentalement, tout ce qui est, non compliqué mais assez pratique.

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!