Scrapy,是基於python的網路爬蟲框架,它能從網路上爬下來訊息,是data獲取的一個好方式。於是想安裝下看看。
轉到它的官網,安裝的介紹頁面
有3種裝法,一個是從pip,一個是從源碼編譯,一個是從conda
根據先前的知識,pip就已經是整合在python中的套件管理工具,最簡單明了,就忽略了官網介紹介面的一句話
Note that sometimes this may require solving compilation issues for some Scrapy dependencies depending on your operating system
結果在編譯階段報了很多錯誤,解決一個還有一個。
然後就放棄了,從原始碼編譯,跟pip一樣,也是一堆編譯錯誤。
沒辦法,就去看conda,下載了個miniconda,60多M吧。仔細一研究結果爽死了。
可能python也注意到了它的套件下載下來需要編譯,編譯的話需要依賴自己OS的環境配置,經常出錯的這個問題。
miniconda是個已經安裝好了python的一個整合環境,等於下載安裝好了miniconda也就是下載好了基本的python核心程序,然後可以透過conda指令來下載conda已經編譯好的套件來做功能擴充。也就是scrapy套件以及它所依賴的lxml,twisted等編譯的我半死的套件都是已經跟編譯好的。那下載下來直接用就可以了。
以上是安裝Scrapy教學課程的詳細內容。更多資訊請關注PHP中文網其他相關文章!