首頁 > 後端開發 > Python教學 > 爬蟲python什麼意思

爬蟲python什麼意思

藏色散人
發布: 2019-06-25 10:13:53
原創
2339 人瀏覽過

爬蟲python什麼意思

爬蟲python是什麼意思?

爬蟲,又被稱為網路爬蟲,主要指涉從網路上進行資料擷取的腳本後者程序,是進行資料 分析和資料探勘的基礎。

所謂爬蟲是指在給定url(網址)中獲取我們對我們有用的數據信息,通過代碼實現數據的大量獲取,在經過後期的數據整理、計算等得出相關規律,以及行業趨勢等資訊。

Python 爬蟲架構主要由五個部分組成,分別是調度器、URL管理器、網頁下載器、網頁解析器、應用程式(爬取的有價值資料)。

調度器:

相當於一台電腦的CPU,主要負責調度URL管理器、下載器、解析器之間的協調工作。

URL管理員:

包括待爬取的URL位址和已爬取的URL位址,防止重複抓取URL和循環抓取URL,實作URL管理器主要用三種方式,透過記憶體、資料庫、快取資料庫來實現。

網頁下載器:

透過傳入一個URL位址來下載網頁,將網頁轉換成一個字串,網頁下載器有urllib2(Python官方基礎模組)包括需要登入、代理、和cookie,requests(第三方套件)

網頁解析器:

將一個網頁字串進行解析,可以按照我們的要求來提取出我們有用的信息,也可以根據DOM樹的解析方式來解析。網頁解析器有正規表示式(直觀,將網頁轉成字串透過模糊匹配的方式來提取有價值的信息,當文檔比較複雜的時候,該方法提取數據的時候就會非常的困難)、html. parser(Python自帶的)、beautifulsoup(第三方插件,可以使用Python自帶的html.parser進行解析,也可以使用lxml進行解析,相對於其他幾種來說要強大一些)、lxml(第三方插件,可以解析xml 和HTML),html.parser 和beautifulsoup 以及lxml 都是以DOM 樹的方式進行解析的。

應用程式:

就是從網頁擷取的有用資料組成的一個應用程式。

相關推薦:《Python教學

以上是爬蟲python什麼意思的詳細內容。更多資訊請關注PHP中文網其他相關文章!

相關標籤:
來源:php.cn
本網站聲明
本文內容由網友自願投稿,版權歸原作者所有。本站不承擔相應的法律責任。如發現涉嫌抄襲或侵權的內容,請聯絡admin@php.cn
熱門教學
更多>
最新下載
更多>
網站特效
網站源碼
網站素材
前端模板