Utilisez le framework Scrapy de Python pour explorer des photos de belles femmes en dix minutes-Tutoriel Python-php.cn

Utilisez le framework Scrapy de Python pour explorer des photos de belles femmes en dix minutes

高洛峰

Libérer： 2017-02-11 13:30:16

original

1972 Les gens l'ont consulté

Scrapy est écrit en Python, léger, simple et léger, et très pratique à utiliser. L'utilisation de Scrapy peut facilement compléter la collecte de données en ligne. Cela nous a permis de réaliser beaucoup de travail sans avoir à déployer de gros efforts pour les développer nous-mêmes. Cet article présente l'utilisation du framework Scrapy de Python pour explorer de belles photos de femmes en dix minutes. Les amis qui en ont besoin peuvent se référer à

Introduction

. Scrapy est un python. Ce qui suit est un framework de robots riche en fonctions et rapide et facile à utiliser. Vous pouvez utiliser Scrapy pour développer rapidement un robot simple. Un exemple simple donné par le responsable suffit à prouver sa puissance :

Utilisez le framework Scrapy de Python pour explorer des photos de belles femmes en dix minutes

Développement rapide

Le compte à rebours de 10 minutes commence ci-dessous :

Bien sûr, avant de commencer, vous pouvez jeter un œil à l'article d'introduction scrapy que nous avons écrit auparavant "Writing Python Crawlers from Zero Basics : Utilisation du framework Scrapy pour écrire des robots

1 Initialiser le projet

scrapy startproject mzt
cd mzt
scrapy genspider meizitu meizitu.com

Copier après la connexion

2. . Ajoutez du code spider :

Définissez scrapy.Item, ajoutez des image_urls et des images, et préparez le téléchargement des images.

Modifiez start_urls sur la page initiale, ajoutez parse pour traiter la page de liste et ajoutez parse_item pour traiter la page d'élément.

Utilisez le framework Scrapy de Python pour explorer des photos de belles femmes en dix minutes

3. Modifier le fichier de configuration :

DOWNLOAD_DELAY = 1 # 添加下载延迟配置
ITEM_PIPELINES = {&#39;scrapy.pipelines.images.ImagesPipeline&#39;: 1} # 添加图片下载 pipeline
IMAGES_STORE = &#39;.&#39; # 设置图片保存目录

Copier après la connexion

4. Exécutez le projet :

scrapy crawl meizitu

Copier après la connexion

Regardez les rendus de fonctionnement du projet

Utilisez le framework Scrapy de Python pour explorer des photos de belles femmes en dix minutes

Attendez un peu, il est temps de récolter

Utilisez le framework Scrapy de Python pour explorer des photos de belles femmes en dix minutes

Plus de frameworks Scrapy utilisant Python 10 Pour les articles liés à l'exploration de photos de beauté en quelques minutes, veuillez faire attention au site Web PHP chinois !