Ein Kurs, der Ihnen beibringt, wie Sie mit Python w3shcool crawlen und in lokalen Codebeispielen speichern-Python-Tutorial-php.cn

In diesem Artikel wird hauptsächlich die Methodenanalyse von Python vorgestellt, die den JQuery-Kurs von w3shcool crawlt und lokal speichert. Hat einen sehr guten Referenzwert. Werfen wir einen Blick mit dem Redakteur unten

Ich war in letzter Zeit damit beschäftigt, nach einem Job zu suchen. In meiner Freizeit habe ich auch einige Crawler-Projekte gefunden, um meine Fähigkeiten zu üben und Code zu schreiben , aber ich muss mehr üben. Straßenarbeit ist der Weg. Wenn Sie Testgruben haben, können Sie mir diese vorstellen. Automatisierung, Funktionen und Schnittstellen können durchgeführt werden.

Zuallererst haben wir unsere Bedürfnisse klar definiert. Viele Studenten möchten einige Technologien sehen, wenn sie beispielsweise nichts zu tun haben Internet jetzt, und ich habe keine E-Books auf meinem Handy Es ist wirklich unangenehm, also machen Sie sich keine Sorgen, ich bin hier, um Ihre Bedürfnisse zu erfüllen. Zunächst einmal ist es Ihr Bedürfnis, die Syntax zu erhalten JQuery, dann sehe ich diesen Bedarf, ich habe eine Website, die reagiert, also lasst uns weitermachen und diese Website analysieren. www.w3school.com.cn/jquery/jquery_syntax.asp Dies ist die Syntax-URL, http://www.w3school.com.cn/jquery/jquery_intro.asp Dies ist die Einführungs-URL, dann haben wir eine Menge URL-Analyse durchgeführt , unsere www.w3school.com.cn/jquery ist die gleiche, also analysieren wir, wie wir diese in die Benutzeroberfläche bekommen. Wir können sehen, dass es rechts eine entsprechende Zielleiste gibt, also analysieren wir sie

Werfen wir einen Blick auf diese Links. Wir können diese Links mit http://www.w3school.com.cn verbinden. Dann bilden Sie unsere neue URL

und fügen Sie den Code

import urllib.request
from bs4 import BeautifulSoup 
import time
def head():
 headers={
 &#39;User-Agent&#39;:&#39;Mozilla/5.0 (Windows NT 6.1; WOW64; rv:52.0) Gecko/20100101 Firefox/52.0&#39;
 }
 return headers
def parse_url(url):
 hea=head()
 resposne=urllib.request.Request(url,headers=hea)
 html=urllib.request.urlopen(resposne).read().decode(&#39;gb2312&#39;)
 return html
def url_s():
 url=&#39;http://www.w3school.com.cn/jquery/index.asp&#39;
 html=parse_url(url)
 soup=BeautifulSoup(html)
 me=soup.find_all(id=&#39;course&#39;)
 m_url_text=[]
 m_url=[]
 for link in me:
  m_url_text.append(link.text)
  m=link.find_all(&#39;a&#39;)
  for i in m:
   m_url.append(i.get(&#39;href&#39;))
 for i in m_url_text:
  h=i.encode(&#39;utf-8&#39;).decode(&#39;utf-8&#39;)
  m_url_text=h.split(&#39;\n&#39;)
 return m_url,m_url_text

Nach dem Login kopieren

hinzu, damit wir die Funktion url_s verwenden können, um alle unsere Links abzurufen.

[&#39;/jquery/index.asp&#39;, &#39;/jquery/jquery_intro.asp&#39;, &#39;/jquery/jquery_install.asp&#39;, &#39;/jquery/jquery_syntax.asp&#39;, &#39;/jquery/jquery_selectors.asp&#39;, &#39;/jquery/jquery_events.asp&#39;, &#39;/jquery/jquery_hide_show.asp&#39;, &#39;/jquery/jquery_fade.asp&#39;, &#39;/jquery/jquery_slide.asp&#39;, &#39;/jquery/jquery_animate.asp&#39;, &#39;/jquery/jquery_stop.asp&#39;, &#39;/jquery/jquery_callback.asp&#39;, &#39;/jquery/jquery_chaining.asp&#39;, &#39;/jquery/jquery_dom_get.asp&#39;, &#39;/jquery/jquery_dom_set.asp&#39;, &#39;/jquery/jquery_dom_add.asp&#39;, &#39;/jquery/jquery_dom_remove.asp&#39;, &#39;/jquery/jquery_css_classes.asp&#39;, &#39;/jquery/jquery_css.asp&#39;, &#39;/jquery/jquery_dimensions.asp&#39;, &#39;/jquery/jquery_traversing.asp&#39;, &#39;/jquery/jquery_traversing_ancestors.asp&#39;, &#39;/jquery/jquery_traversing_descendants.asp&#39;, &#39;/jquery/jquery_traversing_siblings.asp&#39;, &#39;/jquery/jquery_traversing_filtering.asp&#39;, &#39;/jquery/jquery_ajax_intro.asp&#39;, &#39;/jquery/jquery_ajax_load.asp&#39;, &#39;/jquery/jquery_ajax_get_post.asp&#39;, &#39;/jquery/jquery_noconflict.asp&#39;, &#39;/jquery/jquery_examples.asp&#39;, &#39;/jquery/jquery_quiz.asp&#39;, &#39;/jquery/jquery_reference.asp&#39;, &#39;/jquery/jquery_ref_selectors.asp&#39;, &#39;/jquery/jquery_ref_events.asp&#39;, &#39;/jquery/jquery_ref_effects.asp&#39;, &#39;/jquery/jquery_ref_manipulation.asp&#39;, &#39;/jquery/jquery_ref_attributes.asp&#39;, &#39;/jquery/jquery_ref_css.asp&#39;, &#39;/jquery/jquery_ref_ajax.asp&#39;, &#39;/jquery/jquery_ref_traversing.asp&#39;, &#39;/jquery/jquery_ref_data.asp&#39;, &#39;/jquery/jquery_ref_dom_element_methods.asp&#39;, &#39;/jquery/jquery_ref_core.asp&#39;, &#39;/jquery/jquery_ref_prop.asp&#39;], [&#39;jQuery 教程&#39;, &#39;&#39;, &#39;jQuery 教程&#39;, &#39;jQuery 简介&#39;, &#39;jQuery 安装&#39;, &#39;jQuery 语法&#39;, &#39;jQuery 选择器&#39;, &#39;jQuery 事件&#39;, &#39;&#39;, &#39;jQuery 效果&#39;, &#39;&#39;, &#39;jQuery 隐藏/显示&#39;, &#39;jQuery 淡入淡出&#39;, &#39;jQuery 滑动&#39;, &#39;jQuery 动画&#39;, &#39;jQuery stop()&#39;, &#39;jQuery Callback&#39;, &#39;jQuery Chaining&#39;, &#39;&#39;, &#39;jQuery HTML&#39;, &#39;&#39;, &#39;jQuery 获取&#39;, &#39;jQuery 设置&#39;, &#39;jQuery 添加&#39;, &#39;jQuery 删除&#39;, &#39;jQuery CSS 类&#39;, &#39;jQuery css()&#39;, &#39;jQuery 尺寸&#39;, &#39;&#39;, &#39;jQuery 遍历&#39;, &#39;&#39;, &#39;jQuery 遍历&#39;, &#39;jQuery 祖先&#39;, &#39;jQuery 后代&#39;, &#39;jQuery 同胞&#39;, &#39;jQuery 过滤&#39;, &#39;&#39;, &#39;jQuery AJAX&#39;, &#39;&#39;, &#39;jQuery AJAX 简介&#39;, &#39;jQuery 加载&#39;, &#39;jQuery Get/Post&#39;, &#39;&#39;, &#39;jQuery 杂项&#39;, &#39;&#39;, &#39;jQuery noConflict()&#39;, &#39;&#39;, &#39;jQuery 实例&#39;, &#39;&#39;, &#39;jQuery 实例&#39;, &#39;jQuery 测验&#39;, &#39;&#39;, &#39;jQuery 参考手册&#39;, &#39;&#39;, &#39;jQuery 参考手册&#39;, &#39;jQuery 选择器&#39;, &#39;jQuery 事件&#39;, &#39;jQuery 效果&#39;, &#39;jQuery 文档操作&#39;, &#39;jQuery 属性操作&#39;, &#39;jQuery CSS 操作&#39;, &#39;jQuery Ajax&#39;, &#39;jQuery 遍历&#39;, &#39;jQuery 数据&#39;, &#39;jQuery DOM 元素&#39;, &#39;jQuery 核心&#39;, &#39;jQuery 属性&#39;, &#39;&#39;, &#39;&#39;])

Nach dem Login kopieren

Dies ist der Name aller Links und die entsprechenden Grammatikmodule der entsprechenden Links. Dann besteht unser nächster Schritt darin, URLs mit str splicing

 [&#39;http://www.w3school.com.cn//jquery/index.asp&#39;, &#39;http://www.w3school.com.cn//jquery/jquery_intro.asp&#39;, &#39;http://www.w3school.com.cn//jquery/jquery_install.asp&#39;, &#39;http://www.w3school.com.cn//jquery/jquery_syntax.asp&#39;, &#39;http://www.w3school.com.cn//jquery/jquery_selectors.asp&#39;, &#39;http://www.w3school.com.cn//jquery/jquery_events.asp&#39;, &#39;http://www.w3school.com.cn//jquery/jquery_hide_show.asp&#39;, &#39;http://www.w3school.com.cn//jquery/jquery_fade.asp&#39;, &#39;http://www.w3school.com.cn//jquery/jquery_slide.asp&#39;, &#39;http://www.w3school.com.cn//jquery/jquery_animate.asp&#39;, &#39;http://www.w3school.com.cn//jquery/jquery_stop.asp&#39;, &#39;http://www.w3school.com.cn//jquery/jquery_callback.asp&#39;, &#39;http://www.w3school.com.cn//jquery/jquery_chaining.asp&#39;, &#39;http://www.w3school.com.cn//jquery/jquery_dom_get.asp&#39;, &#39;http://www.w3school.com.cn//jquery/jquery_dom_set.asp&#39;, &#39;http://www.w3school.com.cn//jquery/jquery_dom_add.asp&#39;, &#39;http://www.w3school.com.cn//jquery/jquery_dom_remove.asp&#39;, &#39;http://www.w3school.com.cn//jquery/jquery_css_classes.asp&#39;, &#39;http://www.w3school.com.cn//jquery/jquery_css.asp&#39;, &#39;http://www.w3school.com.cn//jquery/jquery_dimensions.asp&#39;, &#39;http://www.w3school.com.cn//jquery/jquery_traversing.asp&#39;, &#39;http://www.w3school.com.cn//jquery/jquery_traversing_ancestors.asp&#39;, &#39;http://www.w3school.com.cn//jquery/jquery_traversing_descendants.asp&#39;, &#39;http://www.w3school.com.cn//jquery/jquery_traversing_siblings.asp&#39;, &#39;http://www.w3school.com.cn//jquery/jquery_traversing_filtering.asp&#39;, &#39;http://www.w3school.com.cn//jquery/jquery_ajax_intro.asp&#39;, &#39;http://www.w3school.com.cn//jquery/jquery_ajax_load.asp&#39;, &#39;http://www.w3school.com.cn//jquery/jquery_ajax_get_post.asp&#39;, &#39;http://www.w3school.com.cn//jquery/jquery_noconflict.asp&#39;, &#39;http://www.w3school.com.cn//jquery/jquery_examples.asp&#39;, &#39;http://www.w3school.com.cn//jquery/jquery_quiz.asp&#39;, &#39;http://www.w3school.com.cn//jquery/jquery_reference.asp&#39;, &#39;http://www.w3school.com.cn//jquery/jquery_ref_selectors.asp&#39;, &#39;http://www.w3school.com.cn//jquery/jquery_ref_events.asp&#39;, &#39;http://www.w3school.com.cn//jquery/jquery_ref_effects.asp&#39;, &#39;http://www.w3school.com.cn//jquery/jquery_ref_manipulation.asp&#39;, &#39;http://www.w3school.com.cn//jquery/jquery_ref_attributes.asp&#39;, &#39;http://www.w3school.com.cn//jquery/jquery_ref_css.asp&#39;, &#39;http://www.w3school.com.cn//jquery/jquery_ref_ajax.asp&#39;, &#39;http://www.w3school.com.cn//jquery/jquery_ref_traversing.asp&#39;, &#39;http://www.w3school.com.cn//jquery/jquery_ref_data.asp&#39;, &#39;http://www.w3school.com.cn//jquery/jquery_ref_dom_element_methods.asp&#39;, &#39;http://www.w3school.com.cn//jquery/jquery_ref_core.asp&#39;, &#39;http://www.w3school.com.cn//jquery/jquery_ref_prop.asp&#39;]

Nach dem Login kopieren

zu verbinden. Dann haben wir alle diese URLs, dann analysieren wir den Artikeltext.

Eine Analyse kann zeigen, dass sich alle unsere Texte in einem id=maincontent befinden. Dann analysieren wir direkt das id=maincontent-Tag in jeder Schnittstelle, rufen das Antworttextdokument ab und speichern es.

Unser gesamter Code lautet also wie folgt:

import urllib.request
from bs4 import BeautifulSoup 
import time
def head():
 headers={
 &#39;User-Agent&#39;:&#39;Mozilla/5.0 (Windows NT 6.1; WOW64; rv:52.0) Gecko/20100101 Firefox/52.0&#39;
 }
 return headers
def parse_url(url):
 hea=head()
 resposne=urllib.request.Request(url,headers=hea)
 html=urllib.request.urlopen(resposne).read().decode(&#39;gb2312&#39;)
 return html
def url_s():
 url=&#39;http://www.w3school.com.cn/jquery/index.asp&#39;
 html=parse_url(url)
 soup=BeautifulSoup(html)
 me=soup.find_all(id=&#39;course&#39;)
 m_url_text=[]
 m_url=[]
 for link in me:
  m_url_text.append(link.text)
  m=link.find_all(&#39;a&#39;)
  for i in m:
   m_url.append(i.get(&#39;href&#39;))
 for i in m_url_text:
  h=i.encode(&#39;utf-8&#39;).decode(&#39;utf-8&#39;)
  m_url_text=h.split(&#39;\n&#39;)
 return m_url,m_url_text
def xml():
 url,url_text=url_s()
 url_jque=[]
 for link in url:
  url_jque.append('http://www.w3school.com.cn/'+link)
 return url_jque
def xiazai():
 urls=xml()
 i=0
 for url in urls:
  html=parse_url(url)
  soup=BeautifulSoup(html)
  me=soup.find_all(id='maincontent')
  with open(r'%s.txt'%i,'wb') as f:
   for h in me:
    f.write(h.text.encode('utf-8'))
    print(i)
  i+=1
if __name__ == '__main__':
 xiazai()

Nach dem Login kopieren

import urllib.request
from bs4 import BeautifulSoup 
import time
def head():
 headers={
 &#39;User-Agent&#39;:&#39;Mozilla/5.0 (Windows NT 6.1; WOW64; rv:52.0) Gecko/20100101 Firefox/52.0&#39;
 }
 return headers
def parse_url(url):
 hea=head()
 resposne=urllib.request.Request(url,headers=hea)
 html=urllib.request.urlopen(resposne).read().decode(&#39;gb2312&#39;)
 return html
def url_s():
 url=&#39;http://www.w3school.com.cn/jquery/index.asp&#39;
 html=parse_url(url)
 soup=BeautifulSoup(html)
 me=soup.find_all(id=&#39;course&#39;)
 m_url_text=[]
 m_url=[]
 for link in me:
  m_url_text.append(link.text)
  m=link.find_all(&#39;a&#39;)
  for i in m:
   m_url.append(i.get(&#39;href&#39;))
 for i in m_url_text:
  h=i.encode(&#39;utf-8&#39;).decode(&#39;utf-8&#39;)
  m_url_text=h.split(&#39;\n&#39;)
 return m_url,m_url_text

def xml():
 url,url_text=url_s()
 url_jque=[]
 for link in url:
  url_jque.append('http://www.w3school.com.cn/'+link)
 return url_jque
def xiazai():
 urls=xml()
 i=0
 for url in urls:
  html=parse_url(url)
  soup=BeautifulSoup(html)
  me=soup.find_all(id='maincontent')
  with open(r'%s.txt'%i,'wb') as f:
   for h in me:
    f.write(h.text.encode('utf-8'))
    print(i)
  i+=1
if __name__ == '__main__':
 xiazai()

Nach dem Login kopieren

Ergebnisse

Das ist es, unsere Crawling-Arbeit. Sobald es soweit ist Fertig, es bleiben nur noch kleinere Reparaturen und kleinere Überarbeitungen, und wir sollten alle wichtigen Inhalte fertiggestellt haben.

Tatsächlich ist der Crawler von Python immer noch sehr einfach. Solange wir die Elemente der Website analysieren und die gemeinsamen Begriffe aller Elemente herausfinden können, können wir unsere Probleme sehr gut analysieren und lösen

Das obige ist der detaillierte Inhalt vonEin Kurs, der Ihnen beibringt, wie Sie mit Python w3shcool crawlen und in lokalen Codebeispielen speichern. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!