Q&A:
1. 부끄러운 일 백과사전을 한동안 사용할 수 없다고 표시되는 이유는 무엇인가요?
답변: 얼마 전 Encyclopedia of Embarrassments에 헤더 테스트가 추가되어 크롤링이 불가능해졌습니다. 코드에서 헤더를 시뮬레이션해야 합니다. 이제 코드가 수정되어 정상적으로 사용할 수 있습니다.
2. 왜 별도의 스레드를 만들어야 하나요?
A: 기본 프로세스는 다음과 같습니다. 크롤러는 백그라운드에서 새 스레드를 시작하고 남은 페이지가 2페이지 미만인 경우 다른 페이지를 크롤링합니다. 사용자가 Enter 키를 누르면 온라인으로 전환하는 대신 인벤토리에서 최신 콘텐츠만 가져오므로 검색이 더 원활해집니다. 메인 스레드에 로딩을 넣을 수도 있지만, 크롤링 과정에서 대기 시간이 길어지는 문제가 발생합니다.
프로젝트 내용:
파이썬으로 작성된 창피한 일 백과사전용 웹 크롤러입니다.
사용법:
새 Bug.py 파일을 만들고 코드를 복사한 다음 두 번 클릭하여 실행합니다.
프로그램 기능:
명령 프롬프트에서 당황스러운 것들에 대한 백과사전을 찾아보세요.
원리 설명:
우선 당황백과사전 홈페이지를 찾아보세요: http://www.qiushibaike.com/hot/page/1
알았어 링크에서 페이지/ 다음의 번호가 해당 페이지 번호임을 알 수 있습니다. 이를 기억하여 향후 작성을 준비하세요.
그런 다음 페이지 소스 코드를 보려면 마우스 오른쪽 버튼을 클릭하세요.
관찰 결과 각 단락은 div로 표시되어 있으며, 여기서 클래스는 콘텐츠여야 하고 제목은 게시 시간이므로 이를 "공제"하려면 정규식만 사용하면 됩니다.
원리를 이해한 후 나머지는 정규 표현식의 내용입니다.
http://blog.csdn.net/wxg694175346/article/details/ 8929576
작동 효과:
# -*- coding: utf-8 -*- import urllib2 import urllib import re import thread import time #----------- 加载处理糗事百科 ----------- class Spider_Model: def __init__(self): self.page = 1 self.pages = [] self.enable = False # 将所有的段子都扣出来,添加到列表中并且返回列表 def GetPage(self,page): myUrl = "http://m.qiushibaike.com/hot/page/" + page user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)' headers = { 'User-Agent' : user_agent } req = urllib2.Request(myUrl, headers = headers) myResponse = urllib2.urlopen(req) myPage = myResponse.read() #encode的作用是将unicode编码转换成其他编码的字符串 #decode的作用是将其他编码的字符串转换成unicode编码 unicodePage = myPage.decode("utf-8") # 找出所有class="content"的div标记 #re.S是任意匹配模式,也就是.可以匹配换行符 myItems = re.findall('<div.*?class="content".*?title="(.*?)">(.*?)</div>',unicodePage,re.S) items = [] for item in myItems: # item 中第一个是div的标题,也就是时间 # item 中第二个是div的内容,也就是内容 items.append([item[0].replace("\n",""),item[1].replace("\n","")]) return items # 用于加载新的段子 def LoadPage(self): # 如果用户未输入quit则一直运行 while self.enable: # 如果pages数组中的内容小于2个 if len(self.pages) < 2: try: # 获取新的页面中的段子们 myPage = self.GetPage(str(self.page)) self.page += 1 self.pages.append(myPage) except: print '无法链接糗事百科!' else: time.sleep(1) def ShowPage(self,nowPage,page): for items in nowPage: print u'第%d页' % page , items[0] , items[1] myInput = raw_input() if myInput == "quit": self.enable = False break def Start(self): self.enable = True page = self.page print u'正在加载中请稍候......' # 新建一个线程在后台加载段子并存储 thread.start_new_thread(self.LoadPage,()) #----------- 加载处理糗事百科 ----------- while self.enable: # 如果self的page数组中存有元素 if self.pages: nowPage = self.pages[0] del self.pages[0] self.ShowPage(nowPage,page) page += 1 #----------- 程序的入口处 ----------- print u""" --------------------------------------- 程序:糗百爬虫 版本:0.3 作者:why 日期:2014-06-03 语言:Python 2.7 操作:输入quit退出阅读糗事百科 功能:按下回车依次浏览今日的糗百热点 --------------------------------------- """ print u'请按下回车浏览今日的糗百内容:' raw_input(' ') myModel = Spider_Model() myModel.Start()
위는 [Python] 웹 크롤러(8)입니다. 민망한 일들 백과사전의 웹 크롤러(v0.3) 소스코드 및 분석(간편 업데이트) 내용, 더 많은 관련 내용은 PHP 중국어 홈페이지(m.sbmmt.com)를 참고해주세요!