首頁 > 常見問題 > 資料倉儲的基本功能包括哪些?

資料倉儲的基本功能包括哪些?

青灯夜游
發布: 2022-01-07 10:46:19
原創
7913 人瀏覽過

資料倉儲的基本功能包括:1、ETL設計,包括資料的抽取同步​​、資料清洗、資料轉換;2、資料分層,一般會劃分為ODS層、CM層、ML層;3 、數據初步建模。

資料倉儲的基本功能包括哪些?

本教學操作環境:windows7系統、Dell G3電腦。

資料倉儲,英文名稱為Data Warehouse,可簡寫為DW或DWH。資料倉儲,是為企業所有層級的決策制定過程,提供所有類型資料支援的策略集合。它是單一資料存儲,出於分析性報告和決策支援目的而創建。為需要業務智慧的企業,提供指導業務流程改善、監視時間、成本、品質以及控制。

資料倉儲的基本功能

ETL設計:資料的擷取同步、資料清洗、資料轉換。涉及關聯式資料庫(mysql、mariadb、oracle等),文檔型資料庫(mongodb、elasticsearch等)。

資料分層:一般劃分為ODS層、CM層、ML層。 ODS層表示未進行加工的資料。 CM層表示清洗合併層的資料。

資料初步建模:對應資料分層ML層,一般採用關係模型(雪花模型)或星型模型,形成寬表對外提供資料支援。

涉及科技:HDFS、HIVE、HBASE、MR、SPARK、YARN等。

資料倉儲架構

下圖為工作中參考許多公司的資料架構規劃出的資料架構,僅供參考。

資料倉儲的基本功能包括哪些?

更多相關知識,請造訪常見問題欄位!

以上是資料倉儲的基本功能包括哪些?的詳細內容。更多資訊請關注PHP中文網其他相關文章!

相關標籤:
來源:php.cn
本網站聲明
本文內容由網友自願投稿,版權歸原作者所有。本站不承擔相應的法律責任。如發現涉嫌抄襲或侵權的內容,請聯絡admin@php.cn
熱門教學
更多>
最新下載
更多>
網站特效
網站源碼
網站素材
前端模板