Python の Scrapy フレームワークを使用して、美しい女性の写真を 10 分でクロールします

ScrapyはPythonで書かれており、軽量でシンプルかつ軽量で、非常に使いやすいです。 Scrapy を使用すると、自分で開発するために多大な労力を費やすことなく、オンライン データの収集を簡単に完了できます。この記事では、Python の Scrapy フレームワークを使用して、10 分で美しい女性の写真をクロールする方法を紹介します。必要な友達は参照してください。

はじめに

scrapy は、機能が豊富で高速な Python のクローラー フレームワークです。使いやすい。 Scrapy を使用すると、簡単なクローラーをすばやく開発できます。公式が提供する簡単な例だけでも、その威力を証明できます:

素早い開発

10 分間のカウントダウンは以下から始まります:

もちろん。始める前に、まず以前に書いた Scrapy の紹介記事をご覧ください。「基礎ゼロで Python クローラーを作成し、Scrapy フレームワークを使用してクローラーを作成する

1. プロジェクトを初期化します

scrapy startproject mzt
cd mzt
scrapy genspider meizitu meizitu.com

2. スパイダーコードを追加します:

アイテムを定義し、画像のダウンロードを準備するために image_url と画像を追加します。

start_urls を最初のページに変更し、リスト ページを処理するために parse を追加し、アイテム ページを処理するために parse_item を追加します。

3. 設定ファイルを変更します:

DOWNLOAD_DELAY = 1 # 添加下载延迟配置
ITEM_PIPELINES = {'scrapy.pipelines.images.ImagesPipeline': 1} # 添加图片下载 pipeline
IMAGES_STORE = '.' # 设置图片保存目录

4. プロジェクトを実行します:

scrapy crawl meizitu

待ってしばらくの間、収穫の時期です

Python の Scrapy フレームワークを使用して 10 分で美しい写真をクロールすることに関するその他の関連記事については、PHP 中国語 Web サイトに注目してください。