データウェアハウスに必要なテクノロジーとは

データ ウェアハウス技術 (データ ウェアハウス) は、情報システム ビジネスの発展のニーズに基づいてデータベース システム技術をベースに開発され、徐々に独立しつつある一連の新しいアプリケーション技術です。データ ウェアハウスには、OLTP と OLAP という 2 つの主要なテクノロジがあります。以下でそれらを分析しましょう:

## 1. OLTP と OLAP

OLTP の正式名は Online Transaction Processing で、主にトランザクション処理に従来のリレーショナル データベースを使用します。 OLTP の中核となる要件は、単一レコードの効率的かつ高速な処理であり、インデックス技術やサブデータベース、サブテーブルなどの最も基本的な要件は、この問題を解決することです。

OLAP の正式名称は Online Analytical Processing です。OLAP は大量のデータを処理およびカウントできます。データの追加、削除、変更、同時実行制御を考慮する必要がある OLTP データベースとは異なり、OLAP データは一般的にデータ クエリ リクエストの処理のみが必要です。インポートはバッチでインポートされるため、列ストレージ、列圧縮、ビットマップ インデックス作成などのテクノロジによってリクエストへの応答を大幅に高速化できます。

##2. OLTP データと OLAP データの単純な比較

##3. データ ウェアハウスの論理アーキテクチャ設計

オフライン データ ウェアハウスは通常、次元モデリング理論に基づいて構築されます。オフライン データ ウェアハウスは通常、論理的に階層化されています。単語のセグメンテーションは主に次の考慮事項に基づいています:

1. 分離: ユーザーはデータを使用する必要がありますビジネス システムからの生データではなく、データ チームによって慎重に処理されたデータが使用されるため、最初の利点は、ユーザーがビジネスの観点から慎重に準備され、標準化されたクリーンなデータを使用できることです。非常に理解しやすく、使いやすい。第 2 に、上流のビジネス システムが変更または再構築された場合 (テーブル構造、フィールド、ビジネスの意味など)、データ チームはこれらすべての変更を処理し、下流ユーザーへの影響を最小限に抑える責任を負います。

2. パフォーマンスと保守性: 専門家は専門的なことを行います。データ階層化により、データ処理は基本的にすべてデータ チーム内で行われるため、同じビジネス ロジックを繰り返し実行する必要がなく、対応するストレージが節約されます。オーバーヘッド。さらに、データ階層化により、データ ウェアハウスのメンテナンスも明確かつ便利になります。各レイヤーは、独自のタスクのみを担当します。特定のレイヤーでデータ処理に問題がある場合は、そのレイヤーを変更するだけで済みます。

3. 標準化: 企業や組織にとって、データの品質は非常に重要です。誰もが指標について話すとき、それは明確で認識された品質に基づいていなければなりません。外観、フィールド、指標は、標準化する。

4. ODS レイヤー: データ ウェアハウス ソース システムのデータ テーブルは、通常、そのままの状態で保存されます。これは、ODS (オペレーション データ ストア) レイヤーと呼ばれます。ODS レイヤーは、準備領域 (ステージング領域) とも呼ばれます。 )、これらは後続のデータ ウェアハウス レイヤー (つまり、キンボール ディメンション モデリングに基づいて生成されたファクト テーブルおよびディメンション テーブル レイヤー、およびこれらのファクト テーブルと詳細テーブルに基づいて処理されたサマリー レイヤー データ) によって処理されるデータのソースです。同時に、ODS レイヤーには履歴増分データまたは完全データも保存されます。

5. DWD レイヤーと DWS レイヤー: データ ウェアハウス詳細 (DWD) とデータ ウェアハウス概要 (DWS) は、データ ウェアハウスの主要なコンテンツです。 DWD 層と DWS 層のデータは、ETL のクリーニング、変換、ロード後に ODS 層によって生成され、通常はキンボールの次元モデリング理論に基づいて構築され、各サブトピックの次元は一貫した次元とデータ バスを通じて保証されます。一貫性。

6. アプリケーション層 (ADS): アプリケーション層は主に、DWD および DWS に基づいて各事業または部門によって構築されるデータ マート (DM) であり、データ マート DM は DWD および DWS と相対的なものです。倉庫（DW）。一般的にアプリケーション層のデータはDW層から取得されますが、ODS層への直接アクセスは原則として認められません。さらに、DW レイヤーと比較して、アプリケーション レイヤーには、部門または関係者自身が関心を持つ詳細および概要レイヤーのデータのみが含まれます。

以上がデータウェアハウスに必要なテクノロジーとはの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。