Python Webクローラ機能の基本的な書き方の紹介

この記事では主にPythonWebクローラー機能の基本的な書き方を紹介します Webクローラー、つまりWeb Spiderは非常に鮮やかな名前です。インターネットをクモの巣に例えると、クモはウェブ上を這うクモです。ウェブ クローラーに興味のある友人は、この記事を参照してください。

ウェブ クローラー、つまりウェブ スパイダー は非常に鮮やかな名前です。 。インターネットを蜘蛛の巣に例えると、蜘蛛は巣の上を這っている蜘蛛です。

1. Web クローラーの定義

ウェブ スパイダーは、Web ページのリンク アドレスを通じて Web ページを検索します。 Web サイトの特定のページ (通常はホームページ) から開始して、Web ページのコンテンツを読み、Web ページ内の他のリンク アドレスを見つけ、次にこれらのリンク アドレスを通じて次の Web ページを見つけます。このサイクルは、この Web サイトのすべてのリンクが完了するまで続きます。すべての Web ページがクロールされるまで。インターネット全体が Web サイトとみなされる場合、Web スパイダーはこの原理を使用して、インターネット上のすべての Web ページをクロールできます。このように、Web クローラーはクローラー、Web ページを巡回するプログラムです。 Web クローラーの基本的な操作は、Web ページをクロールすることです。

Web ページをクロールするプロセスは、読者が通常

を使用して Web ページを閲覧する方法と実際には同じです。たとえば、ブラウザのアドレス バーにアドレス www.baidu.com を入力します。 Web ページを開くプロセスは、実際には、ブラウザーが閲覧「クライアント」としてサーバーにリクエストを送信し、サーバー側のファイルをローカルに「取得」し、それらを解釈して表示するというものです。

HTML は、タグを使用してコンテンツをマークし、解析して区別するマークアップ言語です。ブラウザの機能は、取得した HTML コードを解析し、元のコードを直接表示される Web サイトのページに変換することです。

1) Python で HTML ページを取得します実際、最も基本的な Web サイトの取得は次の 2 つの文だけです:

import urllib2
content = urllib2.urlopen('http://XXXX').read()

2). Python クローラーがページをクロールした後に HTML を解析する方法

Python クローラーの HTML 解析ライブラリ SGMLParser Python にはデフォルトで HTMLParser や SGMLParser などのパーサーが付属しています。を使用するために、SGMLParser を使用してサンプル プログラムを作成しました:

import urllib2
from sgmllib import SGMLParser
 
class ListName(SGMLParser):
def init(self):
SGMLParser.init(self)
self.is_h4 = ""
self.name = []
def start_h4(self, attrs):
self.is_h4 = 1
def end_h4(self):
self.is_h4 = ""
def handle_data(self, text):
if self.is_h4 == 1:
self.name.append(text)
 
content = urllib2.urlopen('http://169it.com/xxx.htm').read()
listname = ListName()
listname.feed(content)
for item in listname.name:
print item.decode('gbk').encode('utf8')

変数 is_h4 をマークとして使用し、HTML ファイル内の h4 タグが見つかった場合、タグ内の内容がリスト変数名に追加されます。 start_h4() と end_h4() 関数について説明します。そのプロトタイプは SGMLParser の

start_tagname(self, attrs)
end_tagname(self)

 が見つかった場合、start_pre> が呼び出されます。 ;/pre&gt が呼び出されます;、end_pre が呼び出されます。 attrs はラベルのパラメーターであり、[(属性, 値), (属性, 値), ...] の形式で返されます。 </p><p class="jb51code"><br/></p>PythonクローラーHTML解析ライブラリpyQuery<p></p><p><span style="color: #333333">pyQueryは、Pythonで<strong>jQuery</strong>を実装したもので、HTML文書をjQuery構文で操作・解析することができ、非常に便利です。使用する前に、easy_install pyquery、または Ubuntu の下にインストールする必要があります </span></p><p><a href="//m.sbmmt.com/wiki/1495.html" target="_blank"><div class="code" style="position:relative; padding:0px; margin:0px;"><pre class="brush:py;">sudo apt-get install python-pyquery