如果你正在學習編程,那麼「爬蟲」絕對是你不可忽視的。那麼,學習python爬蟲之前需要哪些工具呢?
程式碼編輯運行環境:(推薦學習:Python影片教學)
個人推薦PyCharm社群版,當然,Python自備的IDLE也行,Notepad 亦可,只要自己使用得習慣。
F12 開發者工具
看原始程式碼:快速定位元素分析xpath:1、此處建議Google系瀏覽器,可以在原始碼介面直接右鍵看
抓包工具
推薦httpfox,火狐瀏覽器下的插件,比起谷歌火狐是自帶的F12工具都要好,可以方便查看網站收包發包的資訊
XPATH CHECKER (火狐插件)
非常好的xpath測試工具,不過也有幾個小缺點,:
#xpath checker生成的是絕對路徑,遇到一些動態生成的圖標(常見的有列表翻頁按鈕等),飄忽不定的絕對路徑很有可能造成錯誤,所以這裡建議在真正分析的時候,只是作為參考記得把如下圖xpath框裡的「x:」去掉,看起來像是早期版本xpath的語法,目前已經和一些模組不相容(例如scrapy),還是刪去避免報錯。
正規表示測試工具
線上正規表示式測試 ,拿來多練練手,也輔助分析!裡面有很多現成的正規表示式可以用,也可以參考!
更多Python相關技術文章,請造訪Python教學欄位學習!
以上是python用什麼軟體寫爬蟲的詳細內容。更多資訊請關注PHP中文網其他相關文章!