Une brève introduction au framework de robot d'exploration Python Scrapy

Cet article vous apporte une brève introduction au framework de robot d'exploration Python Scrapy. Il a une certaine valeur de référence. Les amis dans le besoin peuvent s'y référer.

Framework Scrapy

Scrapy est un framework d'application écrit en Python pur pour explorer les données de sites Web et extraire des données structurelles. Il a un large éventail d'utilisations.

Grâce à la puissance du framework, les utilisateurs n'ont besoin que de personnaliser et de développer quelques modules pour implémenter facilement un robot pour explorer le contenu Web et diverses images, ce qui est très pratique.

Scrapy utilise le framework réseau asynchrone Twisted'twɪstɪd pour gérer la communication réseau, ce qui peut accélérer nos téléchargements sans avoir à implémenter le framework asynchrone nous-mêmes. Il contient également diverses interfaces middleware et peut répondre de manière flexible à divers besoins.

Schéma d'architecture Scrapy (la ligne verte est le sens du flux de données) :

95625f65089e4bc98a269cfda6701597.png

Scrapy Engine : Responsable de la communication entre Spider, ItemPipeline, Downloader et Scheduler . Signaux, transfert de données, etc.

Planificateur : il est chargé d'accepter les demandes de requête envoyées par le moteur, de les trier d'une certaine manière, de les mettre en file d'attente et de les renvoyer au moteur lorsque celui-ci en a besoin.

Téléchargeur : responsable du téléchargement de toutes les demandes envoyées par Scrapy Engine et du renvoi des réponses obtenues à Scrapy Engine, qui sont transmises à Spider pour traitement.

Spider (crawler) : il est responsable de. traiter toutes les réponses, analyser et extraire les données, obtenir les données requises par le champ Article et soumettre l'URL qui doit être suivie au moteur, puis entrer à nouveau dans le planificateur (planificateur),

Item Pipeline ( pipeline) : Il est responsable du traitement des éléments obtenus à partir du Spider et d'effectuer le post-traitement (analyse détaillée, filtrage, stockage, etc.

Downloader Middlewares (middleware de téléchargement) : Vous Il peut être considéré comme). un composant qui peut être personnalisé pour étendre la fonction de téléchargement.

Spider Middlewares (Spider middleware) : vous pouvez le comprendre comme un composant fonctionnel qui peut personnaliser l'extension et exploiter la communication intermédiaire entre le moteur et Spider (telle que les réponses entrant dans Spider ; et les requêtes sortant de Spider)

b847d7fa404a404ca0a656028ada63b5.png

Si vous rencontrez de nombreuses questions et problèmes dans le processus d'apprentissage de Python, vous pouvez ajouter -q-u-n 227 -435-450 Il existe du matériel vidéo logiciel gratuit

Scrapy Le processus de fonctionnement

Le code est écrit et le programme commence à s'exécuter...

Moteur : Salut ! Spider, sur quel site travaillez-vous ?

Spider : Le patron veut que je m'occupe de xxxx.com.

Moteur : Donnez-moi la première URL qui doit être traitée.

Spider : Et voilà, la première URL est xxxxxxx.com.

Moteur : Salut ! Planificateur, j'ai une requête ici pour vous demander de m'aider à trier les files d'attente.

Planificateur : OK, traitement Veuillez patienter.

Moteur : Salut ! Planificateur, donnez-moi la demande que vous avez traitée.

Planificateur : Voilà, c'est la demande que j'ai traitée

Moteur : Salut ! Téléchargeur, aidez-moi s'il vous plaît à télécharger cette demande en fonction des paramètres du middleware de téléchargement du patron

Téléchargeur : OK ! Voilà, voici le téléchargement. (En cas d'échec : désolé, le téléchargement de cette requête a échoué. Ensuite, le moteur indique au planificateur que le téléchargement de cette requête a échoué. Vous l'enregistrez et nous la téléchargerons plus tard)

Moteur : Salut ! Spider, c'est quelque chose qui a été téléchargé et traité selon le middleware de téléchargement du patron. Vous pouvez le gérer vous-même (remarque ! Les réponses ici sont gérées par la fonction def parse() par défaut)

Spider. : (pour l'URL qui doit être suivie après le traitement des données), Salut ! Moteur, j'ai deux résultats ici, c'est l'URL que je dois suivre et voici les données d'article que j'ai obtenues.

Moteur : Salut ! Pipeline J'ai un objet ici. S'il vous plaît, aidez-moi à le gérer ! Planificateur ! Il s'agit d'une URL qui doit être suivie. Veuillez m'aider à la gérer. Recommencez ensuite le cycle à partir de l'étape 4 jusqu'à ce que vous ayez obtenu toutes les informations dont le patron a besoin.

Pipeline `` Scheduler : OK, faites-le maintenant !

Attention ! Ce n'est que lorsqu'il n'y a aucune requête dans le planificateur que l'ensemble du programme s'arrêtera (c'est-à-dire que Scrapy téléchargera à nouveau l'URL dont le téléchargement a échoué.)

Un total de 4 étapes sont nécessaires pour créer un robot d'exploration Scrapy. :

Nouveau projet (scrapy startproject xxx) : Créez un nouveau projet de robot

Effacer l'objectif (écrire items.py) : Effacez la cible que vous souhaitez explorer

Créer un robot d'exploration (spiders/xxspider.py) : créez un robot d'exploration pour commencer à explorer les pages Web

Contenu de stockage (pipelines.py) : concevez des pipelines pour stocker le contenu analysé

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!