Erklären Sie den Beispielcode zum Schreiben eines Python-Crawlers zum Erfassen von GIF-Bildern in Rampage-Comics

In diesem Artikel wird erklärt, wie man einen Beispielcode für den Python-Crawler schreibt, um GIF-Bilder in Rampage-Comics zu erfassen. Der Beispielcode ist Python3, der das URL-Modul, das Request-Modul und das BeautifulSoup-Modul verwendet 🎜>

Zuerst schreiben Sie im Allgemeinen einen Webcrawler, dh crawlen den HTML-Quellcode und andere Inhalte der Webseite und analysieren ihn dann und extrahieren Sie den entsprechenden Inhalt.
Bei dieser Art von Arbeit zur Analyse von HTML-Inhalten reicht es im Grunde aus, Webseiten mit einfachem Inhalt zu analysieren, wenn Sie nur das gewöhnliche Re-Modul für reguläre Ausdrücke verwenden, um Stück für Stück abzugleichen.
Wenn Sie jedoch HTML mit hohem Arbeitsaufwand und komplizierten Inhalten analysieren müssen, ist die Implementierung mit dem re-Modul unmöglich oder schwierig.
Wenn Sie das beautifulsoup-Modul zur Analyse von HTML-Quellcode verwenden, werden Sie feststellen, dass die Dinge so einfach werden, was die Effizienz der Analyse von HTML-Quellcode erheblich verbessert.
Hinweis: BeautifulSoup ist eine Bibliothek eines Drittanbieters, ich verwende bs4. urllib2 ist urllib.request in Python3 zugewiesen. Der Originaltext im Dokument lautet wie folgt.
Hinweis: Das urllib2-Modul wurde in Python 3 auf mehrere Module mit den Namen urllib.request und urllib.error aufgeteilt.
Der Crawler-Quellcode lautet wie folgt

# -*- coding: utf-8 -*-

import urllib.request
import bs4,os

page_sum = 1 #设置下载页数

path = os.getcwd()
path = os.path.join(path,'暴走GIF')
if not os.path.exists(path):
  os.mkdir(path)                 #创建文件夹

url = "http://baozoumanhua.com/gif/year"   #url地址
headers = {                     #伪装浏览器
  'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko)'
         ' Chrome/32.0.1700.76 Safari/537.36'
}

for count in range(page_sum):
  req = urllib.request.Request(
    url = url+str(count+1),
    headers = headers
  )
  print(req.full_url)
  content = urllib.request.urlopen(req).read()

  soup = bs4.BeautifulSoup(content)          # BeautifulSoup
  img_content = soup.findAll('img',attrs={'style':'width:460px'})

  url_list = [img['src'] for img in img_content]   #列表推导 url
  title_list = [img['alt'] for img in img_content]  #图片名称

  for i in range(url_list.__len__()) :
    imgurl = url_list[i]
    filename = path + os.sep +title_list[i] + ".gif"
    print(filename+":"+imgurl)             #打印下载信息
    urllib.request.urlretrieve(imgurl,filename)    #下载图片

Das obige ist der detaillierte Inhalt vonErklären Sie den Beispielcode zum Schreiben eines Python-Crawlers zum Erfassen von GIF-Bildern in Rampage-Comics. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!