Python Scrapy Spider Exemple

La première chose à faire est de clarifier est: il s'agit d'un exemple de robot de craquette pour les titres Web, des auteurs et des étiquettes rampants, adaptés aux débutants à apprendre. 1. Installez d'abord le scrapie via PIP Installer Scrapy et utilisez Scrapy StartProject MyScraper pour créer le projet; 2. Créer un fichier Quotes_spider.py dans le répertoire des Spiders, définir une classe Crawler nommée Quosesspider, définir le nom sur 'Quotes' et start_urls pointe vers '//m.sbmmt.com/link/15341840eedadf2f53ad8571ac6078a2/'; 3. Utilisez Response.css dans la méthode Parse pour extraire le texte, l'auteur et la balise de chaque devis, et renvoyez les données du dictionnaire par rendement, et trouvez le lien "page suivante" et suivez avec Response.Sollow; 4. Run Scrapy à la racine du projet Crawl Quotes commence le robot et voit la sortie de données structurées; 5. Le résultat peut être enregistré en tant que fichier JSON ou CSV en ajoutant le paramètre -o; 6. Il est recommandé de définir Robotstxt_obey = true et téléchargement_delay dans Settings.py pour se conformer au protocole Crawler et réduire la fréquence des demandes; 7. Le sélecteur CSS peut être débogué à l'aide du shell de scrothémine. Cet exemple est basé sur le site Web de l'enseignement //m.sbmmt.com/link/15341840eedadf2f53ad8571ac6078a2, qui est légal et sécurisé, et couvre entièrement le processus de base de Scrapy, y compris la lance de demande, l'extraction de données, le traitement et les résultats exportants, et sont adaptés à un cas de pratique introductive.

Voici un simple exemple d'araignée Python Scrapy pour ramper le titre et le lien d'une page Web. Cet exemple convient aux débutants pour commencer rapidement avec les cadres de scrapy.

✅ Préparation de l'environnement de base

Assurez-vous que vous avez installé Scrapy:

 PIP Install Scrapy

? 1. Créer un projet de scracy

Exécuter dans le terminal:

 Scrapy StartProject Myscraper
CD Myscraper

Cela générera la structure suivante:

 myscraper /
    scrapy.cfg
    myscraper /
        __init__.py
        items.py
        pipelines.py
        Settings.py
        araignées /
            __init__.py

? ️ 2. Écrivez une simple araignée

Créez un nouveau fichier dans spiders/ , tels que quotes_spider.py :

 # myscraper / spiders / quotes_spider.py

Scrapie d'importation

Class QuosessPider (Scrapy.spider):
    name = 'citations'
    start_urls = [
        '//m.sbmmt.com/link/15341840eedadf2f53ad8571ac6078a2/'
    ]]

    Def Parse (soi, réponse):
        # Extraire les données pour le devis dans Response.css ('div.quote'):
            rendement {
                'text': quote.css ('span.text :: text'). get (),
                'auteur': quote.css ('small.author::text'). get (),
                'tags': quote.css ('div.tags a.tag :: text'). getall (),
            }

        # Suivi sur le lien "page suivante" next_page = réponse.css ('li.next a :: att (href)'). Get ()
        Si Next_Page n'est pas nul:
            rendement réponse.follow (next_page, callback = self.parse)

? illustrer

• name : le nom de The Crawler, utilisé au démarrage (par exemple: scrapy crawl quotes )
• start_urls : liste des URL pour la demande initiale
• parse() : fonction de rappel par défaut, traitez les réponses et extraire des données ou suivez avec des liens
• Extraire les données via le sélecteur CSS à l'aide de response.css()
• yield peut renvoyer les données du dictionnaire (informations structurées) ou renvoyer un objet Request (pour le tour de page)

▶ ️ 3. Exécutez le robot

Exécuter dans le répertoire des racines du projet:

 Citations de crawl de scracy

Vous verrez la sortie similaire à:

 {
  "Texte": "" Le monde comme nous l'avons créé est un processus de notre pensée. Cela ne peut pas être changé sans changer notre réflexion. "",
  "Auteur": "Albert Einstein",
  "Tags": ["change", "profonde-pensée"]
}

? 4. Enregistrer les résultats dans le fichier (facultatif)

Exportation vers JSON, CSV, etc .:

 Scrapy Crawl Quotes -o Quotes.json

ou

 Quotes de crawl de scroty -o citations.csv

? ️ Conseils

• Si le site Web dispose d'un mécanisme anti-rampant, n'oubliez pas de le définir dans settings.py :

   Robotstxt_obey = true
  Téléchargement_delay = 1 # demande retardée, plus amicale

• Vous pouvez utiliser scrapy shell pour déboguer le sélecteur:

   SCHAPY Shell '//m.sbmmt.com/link/15341840eedadf2f53ad8571ac6078a2/'

  Testez ensuite les expressions telles que response.css('title::text').get() .

  ---

  Cet exemple exploite un site Web spécialement pour l'enseignement: //m.sbmmt.com/link/15341840eedadf2f53ad8571ac6078a2 , sûr et légal, adapté à la pratique.

  Fondamentalement, c'est tout. Ce n'est pas compliqué, mais il est facile d'ignorer les détails, tels que la logique de roulement des pages et le nettoyage des données. Vous pouvez ajouter un pipeline d'articles pour un traitement ultérieur à l'avenir.

  Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!