首頁 > 後端開發 > Python教學 > 使用Python的Scrapy框架十分鐘爬取美女圖

使用Python的Scrapy框架十分鐘爬取美女圖

高洛峰
發布: 2017-02-11 13:30:16
原創
2000 人瀏覽過

Scrapy是一個使用Python編寫的,輕量級的,簡單輕巧,並且使用起來非常的方便。使用Scrapy可以很方便的完成網上數據的採集工作,它為我們完成了大量的工作,而不需要自己費大力氣去開發。本文介紹了使用Python的Scrapy框架十分鐘爬取美女圖,需要的朋友可以參考下

簡介

scrapy 是一個 python 下面功能豐富、使用方便的爬蟲框架。用scrapy 可以快速的開發一個簡單的爬蟲,官方給出的一個簡單例子足以證明其強大:

使用Python的Scrapy框架十分鐘爬取美女圖

快速開發

下面開始10分鐘倒計時:

看看之前我們寫過的scrapy 入門文章《零基礎寫python爬蟲之使用Scrapy框架寫爬蟲

1.初始化專案

scrapy startproject mzt
cd mzt
scrapy genspider meizitu meizitu.com
登入後複製

DOWNLOAD_DELAY = 1 # 添加下载延迟配置
ITEM_PIPELINES = {'scrapy.pipelines.images.ImagesPipeline': 1} # 添加图片下载 pipeline
IMAGES_STORE = '.' # 设置图片保存目录
登入後複製

. Item ,新增image_urls 和images ,為下載圖片做準備。

修改 start_urls 為初始頁面, 新增 parse 用於處理清單頁, 新增 parse_item 處理項目頁面。

使用Python的Scrapy框架十分鐘爬取美女圖

3. 修改設定檔:

scrapy crawl meizitu
登入後複製

4. 運行項目

等一會兒,就是收穫的時候了

使用Python的Scrapy框架十分鐘爬取美女圖

更多使用Python的Scrapy框架十分鐘爬取美女圖相關文章請關注PHP中文網!

相關標籤:
來源:php.cn
本網站聲明
本文內容由網友自願投稿,版權歸原作者所有。本站不承擔相應的法律責任。如發現涉嫌抄襲或侵權的內容,請聯絡admin@php.cn
熱門教學
更多>
最新下載
更多>
網站特效
網站源碼
網站素材
前端模板