爬蟲不只可以用python寫,很多語言都可以實現爬蟲。例C,C 、C#、Perl、 Python、Java、 Ruby都可以寫出爬蟲,原理其實相差不大,只不過是平台問題。
什麼是網路爬蟲?
網路爬蟲是一個自動提取網頁的程序,它為搜尋引擎從萬維網上下載網頁,是搜尋引擎的重要組成。傳統爬蟲從一個或若干初始網頁的URL開始,獲得初始網頁上的URL,在抓取網頁的過程中,不斷從當前頁面上抽取新的URL放入隊列,直到滿足系統的一定停止條件
爬蟲有什麼用?
• 做為通用搜尋引擎網頁收集器。 (google,baidu)
• 做垂直搜尋引擎.
• 科學研究:線上人類行為,線上社群演化,人類動力學研究,計量社會學,複雜網絡,資料探勘,等領域的實證研究都需要大量數據,而網路爬蟲則是收集相關數據的利器。
• 網頁蒐集
• 建立索引
#• 查詢排序
什麼語言寫爬蟲?
C,C 。高效率,快速,適合通用搜尋引擎做全網爬取。缺點,開發慢,寫起來又臭又長。
腳本語言:Perl, Python, Java, Ruby。簡單,易學,良好的文字處理能方便網頁內容的細緻提取,但效率往往不高,適合對少量網站的聚焦爬取。
以上是爬蟲只能用python寫嗎的詳細內容。更多資訊請關注PHP中文網其他相關文章!