Bestandteile der metadatengesteuerten Data Warehouse-Architektur

By |2022-07-26T08:57:21+00:00 22. Februar 2021|

Seien wir ehrlich, der Aufbau einer Data Warehouse-Architektur, die alle Ihre Anforderungen erfüllt, erfordert viel Planung und Fachwissen. Eine moderne Data Warehouse-Architektur muss Betriebssystemdaten mit korrekten Formatierungs- und Namenskonventionen genau integrieren, flexibel genug sein, um sich an Änderungen in der Struktur dieser zugrunde liegenden Quellen anzupassen, und eine optimierte Leistung bieten, um eine zeitnahe Berichterstellung zu unterstützen.

In Astera DW-Builder (ADWB), ein Data Warehouse-Tool, bieten wir eine codefreie Lösung, die der Data Warehouse-Entwicklung Skalierbarkeit, Geschwindigkeit und Flexibilität verleiht. Über den Unified Data Model Designer können Sie auf eine Reihe detaillierter Funktionen zugreifen, die Zeit und Kosten für das Design, die Konfiguration und die Bereitstellung Ihrer BI-Architektur drastisch sparen. Lassen Sie uns einen Blick darauf werfen, wie diese Bestandteile einer Enterprise Data Warehouse-Architektur zusammenkommen:

Steuern Sie die End-to-End-Data-Warehouse-Entwicklung

Data Warehouse-Entwicklung in Astera Dw-Generator

Data Warehouse-Entwicklung

 

Mit dem Data Warehouse-Datenmodelldesigner bietet ADWB eine einheitliche Schnittstelle, über die Quellsystemdaten importiert, am Zielschema ausgerichtet, denormalisiert und für die Migration in eine weiter vorbereitet werden können dimensionales Modell Das ist für die Berichterstellung und Analyse optimiert. ADWB erleichtert diesen Integrationsprozess durch seine Reverse Engineering- und Forward Engineering-Funktionen.

Erstellen Sie angereicherte DWH-Datenmodelle für Ihre Quellsysteme

Unsere Reverse Engineering-Funktion verwendet ein Quellendatenbankschema und repliziert es in Form eines Entity-Relationship-Modells. Dieses Modell zeigt die logische Struktur der zugrunde liegenden Datenbank und bietet Ihnen die Möglichkeit, dieses Schema auf verschiedene Arten anzureichern, um das Laden in das Data Warehouse zu erleichtern.

ADWB bietet Integrationen mit einer Reihe führender Datenbanken, einschließlich SQL Server und Oracle Database sowie Cloud-Anbietern wie Amazon und Microsoft Azure. Mit derselben Technik können Sie Datenmodelle auch direkt aus einer Modellierungssoftware wie Erwin Data Modeler importieren.

Nachdem Datenbankentitäten importiert wurden, können Benutzer beginnen, Tabellen basierend auf gemeinsam genutzten Schlüsselbeziehungen zu normalisieren oder Beziehungen innerhalb des Modells herzustellen, wenn diese während des Reverse Engineering-Prozesses nicht automatisch identifiziert werden.

Sie können auch einzelne Tabellen bearbeiten, um sicherzustellen, dass relevante Felder und Namenskonventionen im Data Warehouse angezeigt werden.

Entwerfen und konfigurieren Sie ein Data Warehouse-Schema, das Ihren Berichtsanforderungen entspricht

Mit ADWB können Sie mit Ihrer bevorzugten Technik ein Dimensionsmodell erstellen, von Stern- und Schneeflockenschemata bis hin zu Datentresoren und Betriebsdatenspeichern. Unsere Plattform ermöglicht dies alles. Unser Datenmodelldesigner ermöglicht es Benutzern, alle diese Aufgaben auf logischer Ebene zu verwalten, ohne in den Code selbst einzutauchen.

Wenn das Unternehmen über eine vorhandene Datenbank verfügt, die für Data Warehousing-Zwecke verwendet wird, kann es diese zurückentwickeln und mit der Modellierung beginnen oder das Schema mithilfe von Drag & Drop-Tabellen im Datenmodell-Designer von Grund auf neu erstellen.

Bei beiden Ansätzen bleibt der grundlegende Prozess derselbe. Nachdem Sie alle Entitäten in Ihrem Schema konfiguriert und sichergestellt haben, dass die Beziehungen zwischen ihnen korrekt hergestellt wurden, definieren Sie sie als Fakten oder Dimensionen. Wir haben auch eine dedizierte Datumsdimensionsentität hinzugefügt, damit Sie Geschäftskennzahlen nach dem am besten geeigneten Zeitraum gruppieren können. Von den Geschäftsquartalen bis zu den Ferienzeiten haben wir alles für Sie.

Als nächstes werden Ersatzschlüssel (identifiziert jede Version von Datensätzen eindeutig) und Geschäftsschlüssel (ein Identifizierungswert, der in Transaktionssystemen basierend auf interner Geschäftslogik zugewiesen wird) den entsprechenden Feldern im Layout-Generator für jede Entität zugewiesen.

Sie können auch anpassen, wie die Daten formatiert werden, ob bestimmte Felder obligatorisch sind oder nicht, und festlegen, welche Standardwerte angezeigt werden sollen, wenn für ein bestimmtes Attribut kein Wert angezeigt wird. Ist eine Geschäftskennzahl ohne zugehörige Dimension in Ihrer Faktentabelle angekommen? Kein Problem - richten Sie einfach eine Platzhalterdimension in der relevanten Entität ein, damit die referenzielle Integrität immer erhalten bleibt.

Auch hier wirken sich alle diese Änderungen auf Metadatenebene darauf aus, wie die Data Warehouse-Architektur nach der Bereitstellung eingerichtet wird.

Verfolgen Sie Änderungen in Ihren Quellsystemdaten automatisch

Einer der Hauptaspekte der Data Warehouse-Wartung ist die fortlaufende Bearbeitung von Aktualisierungen, Löschungen und Ergänzungen in Quellsystemtabellen. Schließlich ist die moderne EDW so aufgebaut, dass sie sowohl eine aktuelle als auch eine historische Ansicht der Daten einer Organisation bietet. In DWB automatisieren wir diese Prozesse durch langsam wechselnde Dimensionstypen. Es unterstützt mehrere SCD-Handhabungstechniken, einschließlich SCD Typ 1, Typ 2, Typ 3 und Typ 6.

Langsam wechselnde Dimensionstypen

Langsam wechselnde Dimensionstypen

Im Layout-Generator können Benutzer für jedes Dimensionsfeld den effektivsten SCD-Typ (Slow Change Change) auswählen.

Übertragen Sie Änderungen vom Datenmodell einfach in Ihr Data Warehouse

Nachdem das Data Warehouse-Schema auf Metadatenebene eingerichtet wurde, müssen Sie nur noch sicherstellen, dass Ihre Datenbank zum Auffüllen bereit ist. Dies erfolgt über die Forward Engineering-Funktion, die alle im Dimensionsmodell vorgenommenen strukturellen Änderungen auf Ihre physische Datenbank anwendet.

In Zukunft können Sie diese Option verwenden, um Änderungen von Ihrem Datenmodell schnell in die Zieldatenbank zu übertragen.

Überprüfen und Bereitstellen Ihres Datenmodells mit wenigen Klicks

Nachdem Sie Ihr Datenmodell eingerichtet haben, können Sie es jetzt bereitstellen. Zunächst möchten Sie jedoch die Integrität Ihres Datenmodells mithilfe unseres praktischen Datenüberprüfungstools überprüfen und stundenlange manuelle Fehlerbehebung vermeiden.

Unser Tool führt gründliche Datenüberprüfungen durch, um diese sich wiederholenden Aufgaben zu reduzieren, indem Fehler in Ihrem Datenmodell hervorgehoben werden, bevor mit der nächsten Produktionsstufe fortgefahren wird. Von unvollständigen Feldern bis hin zu Referenzfehlern können Sie mit dieser Funktion potenzielle Probleme beim ersten Durchgang erkennen und beheben.

Beschleunigen Sie das Laden von Data Warehouse radikal

In ADWB wird die gesamte ETL für das Data Warehouse von dedizierten Objekten zum Laden von Fakten und Dimensionen verwaltet. Anstatt komplexe Datenflüsse zu erstellen, können Sie jetzt ein einzelnes Quellobjekt oder mehrere Tabellen aus einem Quelldatenmodell auswählen (mehrere Tabellen können mithilfe des Datenmodellabfrageobjekts in einem Datenfluss ausgewählt werden) und sie einem Loader zuordnen. Richten Sie dann Ihren Loader einfach auf eine relevante Fakten- oder Dimensionstabelle in Ihrem bereitgestellten Dimensionsmodell, und Ihre Zuordnung ist abgeschlossen.

Wenn Sie zusätzliche Aggregate, Filter oder Validierungsregeln auf Ihre Fakten- oder Dimensionsdaten anwenden müssen, müssen Sie nur die gewünschte Transformation per Drag & Drop aus dem Toolset ziehen und in diesem Datenfluss konfigurieren.

Sobald Sie die Zuordnung von der Quelle zum Data Warehouse abgeschlossen haben, führt ADWB die Flows aus. Die Daten werden aus der Quelle entnommen und durch die erforderlichen Transformationen verarbeitet, bevor sie in die entsprechenden Tabellen im Lager geladen werden. Hier werden geeignete Ersatz- und Geschäftsschlüssel zugewiesen und Suchvorgänge wie in der Modellierungsphase definiert durchgeführt. In ADWB haben wir eine dedizierte Dimension Lookup-Transformation hinzugefügt, die automatisch jeden Geschäftsschlüssel mit der entsprechenden SCD-Tabelle vergleicht und sie mit einem geeigneten Ersatzschlüssel vergleicht.

Mit einer Metadaten-Data-Warehousing-Lösung müssen Sie nur den anfänglichen Datenfluss erstellen. Die gesamte Codierung für das Auffüllen des Data Warehouse wird von unserer Plattform automatisch im dedizierten Pushdown-Modus (ELT) generiert, um sicherzustellen, dass Ihr Server während dieser ressourcenintensiven Vorgänge nur minimal belastet wird. Mit anderen Worten, Sie können Ihr Data Warehouse in wenigen Minuten füllen.

ADWB ist plattformunabhängig!

ADWB bietet sofort einsatzbereite Konnektoren für eine Reihe von Datenbankzielen, sodass Sie Ihre Data Warehouse-Architektur auf der Plattform Ihrer Wahl einrichten können, ohne sich um Kompatibilitätsprobleme kümmern zu müssen. Derzeit unterstützen wir die folgenden branchenführenden Cloud- und On-Premise-Datenbanken:

  • Schneeflocke
  • Amazon RedShift
  • Azure-Synapse Analyse
  • Oracle Autonomes Data Warehouse
  • Teradata
  • SAP Data Warehousing
  • SQL Server
  • MariaDB
  • Vertica
  • IBM DB2

Fragen Sie Ihre Unternehmensdaten von jeder autorisierten Anwendung ab und visualisieren Sie sie

Alle eingesetzten Datenmodelle werden auch als OData-Dienste. Unsere Metadaten-Data-Warehouse-Engine übernimmt diese Dienste und schließlich SQL, damit Tabellen außerhalb von Anwendungen und Browsern angezeigt oder abgefragt werden können.

Sie benötigen lediglich die Webadresse Ihrer Bereitstellung und ein Inhaber-Token zur Authentifizierung der Verbindung. Auf Ihre Warehouse-Daten können Endbenutzer über jede verbundene Anwendung zugreifen.

Sie können Ihr Data Warehouse auch direkt über führende Berichts- und Visualisierungstools wie Tableau, Power BI, Domo und andere nutzen.

Orchestrieren Sie ganz einfach alle Ihre ETL-Vorgänge

Sobald Ihr Data Warehouse bereitgestellt ist, können Sie mithilfe unserer Workflow-Funktionen genau verwalten, wie verschiedene Tabellen gefüllt sind. Sobald Sie sich für die Orchestrierung dieser Vorgänge entschieden haben, ruft jeder Datenfluss Daten aus dem Quellsystem über den Staging-Bereich ab und migriert sie in das dimensionale Datenmodell.

Automatisieren Sie Updates und pflegen Sie die Aktualität Ihrer Unternehmensdaten

Benutzer können die Häufigkeit des Datenladens für jede Dimension basierend auf der Häufigkeit festlegen, mit der die zugehörigen Quellsystemtabellen aktualisiert werden. Mit dem Jobplaner Mit dieser Funktion können Sie diese Vorgänge so orchestrieren, dass sie kontinuierlich, in bestimmten Zeitintervallen oder inkrementell ausgeführt werden, wenn Änderungen am Quellsystem vorgenommen werden.

Mit einem metadatengesteuerten Data Warehouse müssen Sie sich keine Gedanken über die Codequalität machen und darüber, wie sie hohen Datenmengen standhält. Unsere Lösung generiert alle erforderlichen ETL-Skripte im Backend von der Metadaten-Engine und wird von einer industrietauglichen ETL-Engine unterstützt, die auf Ihre Anforderungen zugeschnitten ist. Das Hinzufügen von Funktionen zur Jobüberwachung und -protokollierung in Echtzeit und schwerwiegende Konstruktionsfehler gehören der Vergangenheit an.

Agil, skalierbar und überall zugänglich. Erstellen Sie Ihr Data Warehouse in wenigen Tagen mit Astera Data Warehouse Builder.

Möchten Sie unsere Lösung ausprobieren? Wir bieten Ihnen die Möglichkeit, jetzt an unserer exklusiven Startkampagne teilzunehmen. Hier klicken, um Kontakt aufnehmenund finden Sie heraus, wie Sie an Bord kommen können.

FAQs

A metadatengesteuerte Architektur konzentriert sich auf das Metadatenmanagement und spielt eine entscheidende Rolle bei der Gewährleistung der Wirksamkeit von Entscheidungsunterstützungssystemen. Metagetriebenes Data Warehousing ist ebenfalls eine ETL der neuen Generation und eine einheitliche Plattform, die es Benutzern ermöglicht, das Data Warehouse auf logischer Ebene zu entwerfen. Es kapselt das Design sowohl des ETL- als auch des Data Warehouse-Schemas.

In einem Data Warehouse fallen Metadaten in eine von drei Kategorien:

  1. Operative Metadaten: Quellsystemdaten werden in der Regel gefiltert, transformiert, kombiniert und weiter verbessert, bevor sie in das Data Warehouse integriert werden. Daher kann es schwierig sein, festzustellen, woher diese Aufzeichnungen stammen. Operative Metadaten liefern die gesamte Historie eines Datensatzes, dessen Eigentümer, die spezifischen Transformationen, die er durchlaufen hat, sowie seinen aktuellen Status, dh ob sie aktueller oder historischer Natur sind.
  2. ETL-Metadaten: Diese Metadaten werden verwendet, um den Transformations- und Ladeprozess für Ihr Data Warehouse zu leiten. Es umfasst das physische Schema der migrierten Entitäten, einschließlich Tabellen und Spaltennamen, enthaltene Datentypen und Werte sowie das vorgeschriebene Layout für Zieltabellen. ETL-Metadaten umfassen auch anwendbare Transformationsregeln, Fakten-/Dimensionsdefinitionen, Ladehäufigkeiten und Extraktionsmethoden.
  3. Endbenutzer-Metadaten: Diese Art von Metadaten ist besonders nützlich für Verbraucher, die das Data Warehouse täglich abfragen und durchsuchen. Es funktioniert im Wesentlichen als eine Karte des Data Warehouse, die Details zu den in der Architektur enthaltenen Daten, zur Beziehung zwischen den Datensätzen (Primär-/Fremdschlüssel), den notwendigen Berechnungen für die Zuordnung von der Quelle zum Ziel, zu bestimmten Datensätzen, über die berichtet werden muss, bereitstellt und wie.

Die wichtigsten Vorteile von Metadaten im EDW sind:

  • Bietet Bindegewebe für ansonsten unterschiedliche Daten in einer komplexen Datenarchitektur mit hohem Volumen.
  • Erleichtert die Zuordnung von Quellsystemen zum Data Warehouse.
  • Optimiert Abfragen durch Kategorisieren und Zusammenfassen von Datensätzen.
  • Wird in mehreren Phasen des Data Warehouse-Lebenszyklus effektiv verwendet, einschließlich Schemagenerierung, Extraktion, Laden in das Data Warehouse, Transformation in der Staging-Schicht und während des Berichtsprozesses.