> 백엔드 개발 > 파이썬 튜토리얼 > Python이 JD 휴대폰 사진 크롤링을 구현하는 방법에 대한 분석 예

Python이 JD 휴대폰 사진 크롤링을 구현하는 방법에 대한 분석 예

零到壹度
풀어 주다: 2018-03-30 10:30:18
원래의
2081명이 탐색했습니다.

이 기사는 주로 Python을 사용하여 JD 휴대폰 사진을 크롤링하는 방법을 공유하며 좋은 참고 가치가 있으며 모든 사람에게 도움이 되기를 바랍니다. 편집자를 따라가서 모두에게 도움이 되기를 바랍니다.

실행 환경 Python3.6.4
<span style="font-size: 14px; font-family: 微软雅黑, "Microsoft YaHei";">#爬取京东手机图片import re #导入re模块import urllib.request  #导入urllib.request模块def craw(url,page): #定义函数craw<br/>    html1 = urllib.request.urlopen(url).read() #调用urllib.request模块里的urlopen函数打开url链接,并且读取,最后赋值给html1<br/>    html1 = str(html1) #将html1网页内容变成字符串<br/>    pat1 = &#39;&#39;&#39;<p id="plist".+? <p class="page clearfix">&#39;&#39;&#39; #利用pat1正则表达式进行第一次信息过滤<br/>    result1 = re.compile(pat1).findall(html1)  #查找所有符合条件的信息<br/>    result1 = result1[0]<br/>    pat2 = &#39;&#39;&#39;<img width="220" height="220" data-img="1".+?"//(.+?\.jpg)">&#39;&#39;&#39;#".+?"组合可以匹配除换行外的任意字符,第二个正则表达式进行第二次过滤<br/>    imagelist = re.compile(pat2).findall(result1)<br/>    x = 1<br/>    for imageurl in imagelist:<br/>        imagename = "D:/Python35/myweb/part6/img1/"+"第"+str(page)+"页图"+str(x)+".jpg"<br/>        imageurl = "http://"+imageurl        try:<br/>            urllib.request.urlretrieve(imageurl,filename=imagename)        except urllib.error.URLError as e:            if hasattr(e,"code"):<br/>                x+=1<br/>            if hasattr(e,"reason"):<br/>                x+=1<br/>        x+=1for i in range(1,2):<br/>    url = "http://list.jd.com/list.html?cat=9987,653,655&page="+str(i)<br/>    craw(url,i)</span>
로그인 후 복사

관련 권장 사항:

python 크롤러 연습---Jingdong 사진 크롤링

Jingdong 휴대폰 사진 크롤링

예 크롤링 징동 사진 수집

위 내용은 Python이 JD 휴대폰 사진 크롤링을 구현하는 방법에 대한 분석 예의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!

관련 라벨:
원천:php.cn
본 웹사이트의 성명
본 글의 내용은 네티즌들의 자발적인 기여로 작성되었으며, 저작권은 원저작자에게 있습니다. 본 사이트는 이에 상응하는 법적 책임을 지지 않습니다. 표절이나 침해가 의심되는 콘텐츠를 발견한 경우 admin@php.cn으로 문의하세요.
인기 튜토리얼
더>
최신 다운로드
더>
웹 효과
웹사이트 소스 코드
웹사이트 자료
프론트엔드 템플릿