Python 크롤러를 사용하여 귀중한 블로그 게시물을 얻는 방법-파이썬 튜토리얼-php.cn

이 기사의 내용은 Python 크롤러를 사용하여 귀중한 블로그 게시물을 얻는 방법입니다. 이제 도움이 필요한 친구들이 이 기사의 내용을 참조할 수 있습니다.

Python 크롤러를 사용하여 귀중한 블로그 게시물을 얻는 방법

저자 CDA Data Analyst

CSDN에는 훌륭한 기술 블로그 기사가 많이 있습니다. 이를 크롤링하여 로컬 디스크에 저장할 수 있습니다. 이는 나중에 읽고 학습하는 데 매우 편리합니다. 이 목적을 달성하기 위한 코드입니다.

우리가 원하는 것: 블로그 기사를 자동으로 읽고, 제목을 기록하고, 좋아하는 기사를 향후 학습 참고를 위해 개인용 컴퓨터 하드 드라이브에 저장합니다.

프로세스는 대략 다음 단계로 나뉩니다.

1. 크롤링된 대상 URL을 찾습니다. 2. 웹페이지를 분석하고 우리가 저장하고 싶은 정보는 주로 블로그 기사의 내용을 저장합니다.
3. 크롤링된 정보를 정리하고 로컬 디스크에 저장합니다.

csdn 웹 페이지를 엽니다. 예를 들어 무작위로 웹 페이지를 엽니다:

http://blog.csdn.net/u013088062/article/list/1.

블로거가 "C++ Convolutional Neural Network"와 머신러닝에 관한 다른 글을 잘 쓴 것을 볼 수 있습니다.

Python 크롤러를 사용하여 귀중한 블로그 게시물을 얻는 방법

크롤러 코드는 아이디어에 따라 세 가지 범주(클래스)로 구분됩니다. "#"이 있는 다음 세 가지는 각 클래스의 시작을 나타냅니다(모든 사람이 실제로 실행하고 구현할 수 있도록 특정 코드가 첨부되어 있습니다):

Python 크롤러를 사용하여 귀중한 블로그 게시물을 얻는 방법

"클래스" 접근 방식은 Python의 객체 지향 프로그래밍으로, 때로는 우리가 일반적으로 사용하는 프로세스 지향 프로그래밍보다 더 편리합니다. 프로그래밍은 대규모 프로젝트에서 자주 사용됩니다. 초보자에게는 객체지향 프로그래밍을 익히기가 쉽지 않지만 배우고 익숙해지면 점차 프로세스지향에서 객체지향 프로그래밍으로 전환하게 됩니다.

RePage 클래스는 주로 정규식을 사용하여 웹 페이지에서 얻은 정보를 처리한다는 점에 유의하세요. 정규식은 문자열 스타일을 다음과 같이 설정합니다.

정규식을 사용하여 크롤링하려는 콘텐츠를 일치시키세요. 이는 Python 및 기타 소프트웨어 도구를 사용하여 달성할 수 있습니다. 정규식에는 많은 규칙이 있으며 각 소프트웨어는 이를 유사한 방식으로 사용합니다. 정규식을 잘 활용하는 것은 크롤러와 텍스트 마이닝의 중요한 부분입니다.

Python 크롤러를 사용하여 귀중한 블로그 게시물을 얻는 방법

SaveText 클래스는 정보를 로컬에 저장하며 그 효과는 다음과 같습니다.

Python 크롤러를 사용하여 귀중한 블로그 게시물을 얻는 방법

크롤러 코드를 Python으로 작성하면 간단하고 효율적입니다. 이 기사에서는 크롤러의 가장 기본적인 사용법만 설명합니다. 관심 있는 친구는 코드를 다운로드하여 살펴보시기 바랍니다.

첨부된 것은 관련 Python 코드입니다:

1#-*-coding:UTF-8-*- 2import re 3import urllib2 4import sys 5#목적 : 블로그 기사 읽기, 제목 기록, Htnl 형식으로 기사 내용 저장 6# 버전: python2.7.13 7# 기능: 웹 페이지 내용 읽기 8class GetHtmlPage(): 9 #노트 케이스 10 ~ > urllib2.Request(self. | header("사용자 에이전트" ,"Mozilla/5.0(Windows NT 6.1; WOW64) AppleWebKit/537.36(Gecko와 같은 KHTML) Chrome/38.0.2125.122 Safari/537.36 SE 2.X MetaSr 1.0" )16 > ~ "utf-8") > ~ | > 원하는 콘텐츠 30class RePage(): 31#정규식은 콘텐츠를 추출하고 연결된 목록을 반환합니다. 32 def GetReT ext (셀프,페이지,리코딩 ) : 33 rePage = re.findall(recode,page,re.S) 34 class SaveText () :37 def 저장 (self,text,tilte) :38 t="blog\"+tilte+ ".html"40 43 제외 IOError,e : 44 46 s = SaveText() 47 #파일 인코딩 48 #문자가 올바르게 디코딩됨 49 reload(sys) 50 sys.setdefaultencoding( "utf-8" ) #시스템 기본 인코딩 가져오기 51 #웹페이지 가져오기 52 page = GetHtmlPage("http://blog.csdn.net/u013088062/article/list/1") 53 htmlPage = page.GetPage() 54 #Extract content 55 reServer = RePage() 56 reBlog = reServer.GetReText(htmlPage,r' .*?(s. + ?)') #URL 링크 및 제목 가져오기 57 #텍스트를 가져오려면 아래로 58 for ref in reBlog: 59 pageHeard = " http:/ /blog.csdn.net/" " '[Top] ' , "") #교체 기능을 사용하여 복잡한 영어 제거 62tilte=tilte.replace(" rn","").lstrip().rstrip()63 #获取正文 64 htmlPage = GetHtmlPage(strPage) 65 htmlPageData = htmlPage.GetPage() 66 reBlogText = reServer.GetReText(htmlPageData,'

(.+?)(.+?)

') 67 #保存文件 68 for s1 in reBlogText: 69 s1='n'+s1 70 s.Save(s1,tilte)

')67 

#保存文件

68 for s1 in

reBlogText:

69 s1='n'+s1

70 s.Save(s1,tilte)

상关推荐：

🎜🎜🎜🎜 php를 사용하여 Python을 사용하는 방법 Python을 사용하는 방법

위 내용은 Python 크롤러를 사용하여 귀중한 블로그 게시물을 얻는 방법의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!