Python爬蟲爬行圖片需要什麼

爱喝马黛茶的安东尼
發布: 2019-06-26 11:11:29
原創
4542 人瀏覽過

Python爬蟲爬行圖片需要什麼

Python爬蟲爬圖需要什麼?以下用兩種方法製作批次爬取網路圖片的方法:

第一種方法:基於urllib實作

重點如下:

1.url_request = request.Request(url)

2.url_response = request.urlopen(url) 或url_response = request.urlopen(url_request)

#3.data= url_response .read().decode('utf-8')

4.jpglist=re.findall(正規表示式,data)

5.request.urlretrieve(jpgUrl,'% s.jpg' %n)   #下載,第一個參數網址,第二參數名稱

相關推薦:《Python影片教學

第一個案例,我們爬取了貓撲上的一個網頁上的圖片,案例代碼如下。

Python爬蟲爬行圖片需要什麼

需要說明的是程式碼request.urlretrieve(each,'pic2\\%s.jpg'  %n)中「pic2\\」代表下載的圖片被放置在提前建好的資料夾pic2裡。運行程式碼結束之後IDLE和最後結果如下圖所示。

Python爬蟲爬行圖片需要什麼

第二種實作方法:基於requests實作

要點如下:

1.data=requests .get(url).text

2.jpglist=re.findall(正規表示式,data,re.S)

3.pic=requests.get(pic_url,timeout=10 )

4. fp=open(pic_name,'wb')

    fp.write(pic.content)

    fp.close()

#在這個案例中我們爬取了一個壁紙網站的網頁,預測應該圖片品質比較高吧。完整程式碼如下:

Python爬蟲爬行圖片需要什麼

我們來看看運行程式碼的結果,如下圖所示。真心不錯,我們獲得了42張壁紙,而且是在短短幾秒鐘內完成的。

Python爬蟲爬行圖片需要什麼

以上是Python爬蟲爬行圖片需要什麼的詳細內容。更多資訊請關注PHP中文網其他相關文章!

相關標籤:
來源:php.cn
本網站聲明
本文內容由網友自願投稿,版權歸原作者所有。本站不承擔相應的法律責任。如發現涉嫌抄襲或侵權的內容,請聯絡admin@php.cn
熱門教學
更多>
最新下載
更多>
網站特效
網站源碼
網站素材
前端模板
關於我們 免責聲明 Sitemap
PHP中文網:公益線上PHP培訓,幫助PHP學習者快速成長!