Welche Technologie wird für Data Warehouse benötigt?

Data Warehousing ist eine Reihe neuer Anwendungstechnologien, die auf der Grundlage der Datenbanksystemtechnologie basierend auf den Anforderungen der Geschäftsentwicklung von Informationssystemen entwickelt wurden und nach und nach unabhängig wurden. Es gibt zwei Haupttechnologien für Data Warehouse: OLTP und OLAP. Lassen Sie es uns unten analysieren:

1. OLTP und OLAP

Der vollständige Name von OLTP lautet Online Transaction Processing. OLTP verwendet hauptsächlich traditionelle relationale Datenbanken für die Transaktionsverarbeitung. Die Kernanforderung von OLTP ist die effiziente und schnelle Verarbeitung einzelner Datensätze. Die grundlegendsten Anforderungen wie Indexierungstechnologie und Unterdatenbank und Untertabelle sollen dieses Problem lösen.

Der vollständige Name von OLAP lautet „Online Analytical Processing“. Im Gegensatz zur OLTP-Datenbank, die das Hinzufügen, Löschen, Ändern und die Parallelitätskontrolle von Daten berücksichtigen muss, sind OLAP-Daten im Allgemeinen erforderlich Es müssen lediglich Datenabfrageanforderungen verarbeitet werden. Importe werden stapelweise importiert, sodass die Reaktion auf Anforderungen durch Technologien wie Spaltenspeicherung, Spaltenkomprimierung und Bitmap-Indizierung erheblich beschleunigt werden kann.

2. Einfacher Vergleich von OLTP- und OLAP-Daten

3. Logisches Architekturdesign des Data Warehouse

Offline-Data-Warehouses werden normalerweise auf der Grundlage der dimensionalen Modellierungstheorie erstellt. Die logische Schichtung basiert hauptsächlich auf den folgenden Überlegungen:

1. Benutzer sollten es verwenden Daten, die vom Datenteam sorgfältig verarbeitet werden, und nicht Rohdaten aus dem Geschäftssystem. Der erste Vorteil davon besteht darin, dass Benutzer sorgfältig aufbereitete, standardisierte und saubere Daten aus geschäftlicher Sicht verwenden. Sehr einfach zu verstehen und zu verwenden. Zweitens: Wenn das vorgelagerte Geschäftssystem geändert oder sogar neu aufgebaut wird (z. B. Tabellenstruktur, Felder, Geschäftsbedeutung usw.), ist das Datenteam dafür verantwortlich, alle diese Änderungen zu bewältigen und die Auswirkungen auf nachgelagerte Benutzer zu minimieren.

2. Leistung und Wartbarkeit: Durch die Datenschichtung erfolgt die Datenverarbeitung grundsätzlich im Datenteam, sodass nicht immer wieder dieselbe Geschäftslogik ausgeführt werden muss, wodurch entsprechender Speicher- und Rechenaufwand gespart wird . Darüber hinaus macht die Datenschichtung die Wartung des Data Warehouse übersichtlich und komfortabel. Jede Schicht ist nur für ihre eigenen Aufgaben verantwortlich. Wenn bei der Datenverarbeitung auf einer bestimmten Schicht ein Problem auftritt, müssen Sie nur diese Schicht ändern.

3. Für ein Unternehmen und eine Organisation ist die Qualität der Daten sehr wichtig. Wenn jeder über einen Indikator spricht, muss dieser auf einem klaren und anerkannten Kaliber basieren standardisieren.

4. ODS-Schicht: Die Datentabellen des Data Warehouse-Quellsystems werden normalerweise intakt gespeichert. Dies wird als ODS-Schicht (Operation Data Store) bezeichnet ) sind sie die Datenquelle, die von der nachfolgenden Data-Warehouse-Schicht verarbeitet wird (d. h. die Faktentabellen- und Dimensionstabellenschicht, die auf der Grundlage der Kimball-Dimensionsmodellierung generiert wird, und die Zusammenfassungsschichtdaten, die auf der Grundlage dieser Faktentabellen und Detailtabellen verarbeitet werden). Gleichzeitig speichert die ODS-Schicht auch historische inkrementelle Daten oder vollständige Daten.

5. DWD- und DWS-Schichten: Data Warehouse Detail (DWD) und Data Warehouse Summary (DWS) sind Gegenstand des Data Warehouse. Die Daten der DWD- und DWS-Schichten werden von der ODS-Schicht nach ETL-Bereinigung, Konvertierung und Laden generiert und basieren normalerweise auf Kimballs dimensionaler Modellierungstheorie, und die Dimensionen jedes Unterthemas werden durch konsistente Dimensionen und Datenbusse garantiert. Konsistenz.

6. Anwendungsschicht (ADS): Die Anwendungsschicht ist hauptsächlich der Data Mart (Data Mart, DM), der von jeder Geschäftsabteilung oder Abteilung basierend auf DWD und DWS eingerichtet wird. Der Data Mart DM ist relativ zu DWD und DWS. Für Data Warehouse (DW). Im Allgemeinen stammen die Daten der Anwendungsschicht von der DW-Schicht, ein direkter Zugriff auf die ODS-Schicht ist jedoch grundsätzlich nicht zulässig. Darüber hinaus enthält die Anwendungsschicht im Vergleich zur DW-Schicht nur detaillierte und zusammenfassende Schichtdaten, die für die Abteilungen oder Parteien selbst wichtig sind.

Das obige ist der detaillierte Inhalt vonWelche Technologie wird für Data Warehouse benötigt?. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!