python怎麼做大數據分析

(*-*)浩
發布: 2019-07-05 09:16:41
原創
7826 人瀏覽過

資料取得:公開資料、Python爬蟲

python怎麼做大數據分析

#外部資料的取得方式主要有以下兩種。 (推薦學習:Python影片教學

第一種是取得外部的公開數據集,一些科研機構、企業、政府會開放一些數據,你需要到特定的網站去下載這些數據。這些數據集通常比較完善、品質相對較高。

另一種取得外部資料的方式就是爬蟲。

例如你可以透過爬蟲獲取招聘網站某一職位的招聘信息,爬取租房網站上某城市的租房信息,爬取豆瓣評分評分最高的電影列表,獲取知乎點贊排行、網易雲端音樂評論排行列表。基於網路爬取的數據,你可以對某個產業、某種人群進行分析。

在爬蟲之前你需要先了解一些Python 的基礎:元素(列表、字典、元組等)、變數、迴圈、函數……

以及,如何用Python 函式庫(urllib、BeautifulSoup、requests、scrapy)實作網頁爬蟲。

掌握基礎的爬蟲之後,你還需要一些進階技巧,例如正規表示式、使用cookie資訊、模擬使用者登入、抓包分析、建造代理池等等,來應對不同網站的反爬蟲限制。

資料存取:SQL語言

在應對萬以內的資料的時候,Excel對於一般的分析沒有問題,一旦資料量大,就會力不從心,資料庫就能夠很好地解決這個問題。而且大多數的企業,都會以SQL的形式來儲存資料。

SQL作為最經典的資料庫工具,為海量資料的儲存與管理提供可能,並且使資料的提取的效率大大提升。你需要掌握以下技能:

提取特定情況下的資料

資料庫的增、刪、查、改

資料的分組聚合、如何建立多個表之間的聯繫

資料預處理:Python(pandas)

#很多時候我們拿到的資料是不乾淨的,資料的重複、缺失、異常值等等,這時候就需要進行資料的清洗,把這些影響分析的資料處理好,才能獲得更精確地分析結果。

對於資料預處理,學會 pandas (Python包)的用法,應對一般的資料清洗就完全沒問題了。需要掌握的知識點如下:

選擇:資料存取

#缺失值處理:對缺失資料行進行刪除或填入

重複值處理:重複值的判斷與刪除

異常值處理:清除不必要的空格和極端、異常資料

相關操作:描述性統計、Apply、直方圖等

合併:符合各種邏輯關係的合併運算

分組:資料分割、分別執行函數、資料重組

Reshaping:快速產生資料透視表

##機率論及統計知識

需要掌握的知識點如下:

基本統計量:平均數、中位數、眾數、百分位數、極值等

其他描述性統計:偏度、變異數、標準差、顯著性等

其他統計知識:總體和樣本、參數和統計量、ErrorBar

##機率分佈與假設檢定:各種分佈、假設檢定流程

其他機率論知識:條件機率、貝葉斯等

有了統計學的基本知識,你就可以用這些統計量做基本的分析了。你可以使用 Seaborn、matplotlib 等(python套件)做一些視覺化的分析,透過各種視覺化統計圖,並得出具有指導意義的結果。

Python 資料分析

#掌握迴歸分析的方法,透過線性迴歸與邏輯迴歸,其實你就可以對大多數的資料進行迴歸分析,並得出相對精確地結論。這部分需要掌握的知識點如下:

迴歸分析:線性迴歸、邏輯迴歸

基本的分類演算法:決策樹、隨機森林…

基本的聚類別演算法:k-means…

特徵工程基礎:如何用特徵選擇最佳化模型

調參方法:如何調節參數最佳化模型

Python 資料分析套件: scipy、numpy、scikit-learn等

在資料分析的這個階段,專注於了解迴歸分析的方法,大多數的問題可以得以解決,利用描述性的統計分析和迴歸分析,你完全可以得到一個不錯的分析結論。

當然,隨著你實踐量的增多,可能會遇到一些複雜的問題,你可能需要去了解一些更高階的演算法:分類、聚類。

然後你會知道面對不同類型的問題的時候更適合用哪種演算法模型,對於模型的最佳化,你需要去了解如何透過特徵提取、參數調節來提升預測的精度。

你可以透過 Python 中的 scikit-learn 函式庫來實現資料分析、資料探勘建模和分析的整個過程。

更多Python相關技術文章,請造訪Python教學欄位進行學習!

以上是python怎麼做大數據分析的詳細內容。更多資訊請關注PHP中文網其他相關文章!

相關標籤:
來源:php.cn
本網站聲明
本文內容由網友自願投稿,版權歸原作者所有。本站不承擔相應的法律責任。如發現涉嫌抄襲或侵權的內容,請聯絡admin@php.cn
作者最新文章
最新下載
更多>
網站特效
網站源碼
網站素材
前端模板
關於我們 免責聲明 Sitemap
PHP中文網:公益線上PHP培訓,幫助PHP學習者快速成長!