Python 크롤러가 이미지를 크롤링하려면 무엇이 필요합니까?

Python 크롤러가 이미지를 크롤링하려면 무엇이 필요합니까? 네트워크 이미지를 일괄 크롤링하는 두 가지 방법은 다음과 같습니다.

첫 번째 방법: urllib 구현 기반

핵심 사항은 다음과 같습니다.

1.url_request = request.Request(url)

2 .url_response = request.urlopen(url) 또는 url_response = request.urlopen(url_request)

3.data=url_response .read().decode('utf-8')

4.jpglist=re.findall(정규 표현식 , data)

5.request.urlretrieve(jpgUrl,'%s.jpg' %n) #다운로드, 첫 번째 매개변수 URL, 두 번째 매개변수 이름

관련 추천: "Python Video Tutorial"

First In 이 경우, Maopu의 웹페이지에 있는 이미지를 크롤링했습니다. 사례 코드는 다음과 같습니다.

request.urlretrieve(each,'pic2\%s.jpg' %n) 코드의 "pic2\"는 다운로드한 사진이 미리 생성된 pic2 폴더에 저장된다는 의미입니다. 코드를 실행한 후 IDLE과 최종 결과는 아래 그림과 같습니다.

두 번째 구현 방법: 요청 기반

핵심 사항은 다음과 같습니다.

1.data=requests.get(url).text

2.jpglist=re.findall(정규식 , data ,re.S)

3.pic=requests.get(pic_url,timeout=10)

4.fp=open(pic_name,'wb')

 fp.write(pic.content)

 fp .close ()

이 경우 배경화면 웹사이트의 웹페이지를 크롤링했으며 이미지 품질이 상대적으로 높을 것으로 예측합니다. 전체 코드는 다음과 같습니다.

아래 그림과 같이 코드를 실행한 결과를 살펴보겠습니다. 정말 좋네요. 42개의 배경화면이 있는데 단 몇 초 만에 완료되었습니다.

위 내용은 Python 크롤러가 이미지를 크롤링하려면 무엇이 필요합니까?의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!