Blogs

Home / Blogs / Starten Sie die Data Warehouse-Entwicklung mit automatisierter Unternehmensdatenmodellierung

Inhaltsverzeichnis
Die automatisierte, Kein Code Datenstapel

Erfahren Sie, wie Astera Data Stack kann die Datenverwaltung Ihres Unternehmens vereinfachen und rationalisieren.

Starten Sie die Data Warehouse-Entwicklung mit automatisierter Unternehmensdatenmodellierung

25. Juli 2022

Was wäre, wenn Sie Data-Warehouse-Design und -Entwicklung in einem nahtlosen, automatisierten Prozess kombinieren könnten, der Sie in nur wenigen Wochen von der einfachen Berichterstellung zu erweiterten High-Level-Analysen führt? Wenn Sie den Datenmodellierungsprozess richtig gestalten, können Sie eine BI-Architektur aufbauen, die schnell, skalierbar und agil ist. Lesen Sie weiter, um einen Einblick zu erhalten, wie Sie die Entwicklung von Unternehmensdatenmodellen für Ihr Unternehmen nutzen können.

Im Kern sind Data Warehouses darauf ausgelegt, geschäftliche Fragen zu beantworten. Diese können von einfachen beschreibenden Abfragen, die sich auf die Erstellung regelmäßiger Berichte konzentrieren, bis hin zu weitaus anspruchsvolleren Analysen reichen, die darauf ausgerichtet sind, Faktoren zu untersuchen, die hinter einem Szenario für ein effektives Datenmanagement stehen. Um eine solche zielgerichtete Intelligenz aus Ihrem BI-System zu erhalten, müssen Sie sicherstellen, dass die Benutzeranforderungen während der Entwicklungsphase des Data Warehouse eng mit den Geschäftskonzepten verwoben sind.

Der beste Weg, Endbenutzerziele mit Ihrer Datenarchitektur zu verbinden, besteht darin, die Modellierung von Unternehmensdaten in den Mittelpunkt Ihres Data Warehouse zu stellen. Diese Schemata sind visualisierte Entity-Relationship-Diagramme und stellen Quellsysteme dar, indem sie in einer optimierten Struktur angeordnet werden, die für schnelle Abfragen und Benutzerfreundlichkeit geeignet ist. Noch wichtiger ist, dass sie die zugrunde liegende Geschäftslogik hinter verschiedenen betrieblichen Prozessen in einem Format zeigen, das sowohl für technisch nicht versierte Benutzer als auch für Entwickler sofort verständlich ist.

Bei richtiger Gestaltung können die Vorteile eines Unternehmensdatenmodells für Ihr gesamtes Unternehmen genutzt werden Data Warehouse. Sie helfen Ihnen dabei, zu ermitteln, woher kritische Daten abgerufen werden müssen, welche Plattformen Ihr physisches Datenmodell und Ihre Datenbank am besten unterstützen können und wie Datenpipelines von der Quelle zum Ziel fließen.

Werfen wir einen Blick auf einige grundlegende Datenmodellierungstechniken, die für diesen Prozess unerlässlich sind.

Beginnen Sie an der Quelle

Datenmodelle in ADWBReplizieren Sie Ihre Quellsysteme genau, und Sie erhalten möglicherweise ein Schema, das in etwa so aussieht

Das erste, was Sie während der Schemamodellierung sicherstellen müssen, ist, dass Sie Quellsysteme auf der logischen Ebene genau replizieren können.

Dazu müssen Sie feststellen, wo sich Ihre kritischen Daten befinden – befinden sie sich in einem On-Premise-Datenbank, einem Cloud Data Lake oder auf einer CRM-Plattform wie Salesforce? Natürlich sind nur bestimmte Tabellen innerhalb dieser Anwendungen für BI-Zwecke relevant. Wenn Sie bereits Berichte in Ihren Transaktionssystemen erstellt haben, haben Sie eine gute Vorstellung davon, welche Datensätze in Ihr Data Warehouse integriert werden müssen. Letztendlich möchten Sie sicherstellen, dass Sie dieselben Abfragen wie zuvor ohne Unterbrechung ausführen können.

Erstellen Sie ein standardisiertes Metadaten-Framework

Architektur des Datenmodells

Während Sie logische Unternehmensdatenmodelle erstellen, die alle Ihre Quellen umfassen, Metadaten müssen konsequent auf alle angewendet werden.

In der Entwurfsphase möchten Sie:

  • Stellen Sie Beziehungen zwischen Entitäten mithilfe geeigneter Primärschlüssel und Fremdschlüssel her
  • Stellen Sie sicher, dass Sie Tabellen korrekt verknüpfen und dass Entitätsbeziehungstypen korrekt definiert sind, also viele-zu-viele, eins-zu-viele, Eltern-Kind usw.
  • Stellen Sie sicher, dass der Entitätstyp/das Feld zurückgegeben wird, wenn eine Abfrage im Data Warehouse ausgeführt wird. Wenn Sie beispielsweise festlegen, dass Kunden und Bestellungen eine Eltern-Kind-Beziehung haben, ist es einfach, Kunden nach Bestellung zu filtern, aber wenn Sie dies umgekehrt versuchen, müssen Sie sicherstellen, dass Bestellungen mit einem verknüpft sind einzelner Kunde, andernfalls schlägt die Abfrage fehl. Dieses Problem wird mithilfe von Aliasing behoben.
  • Namenskonventionen für Attribute sollten auch in Ihrem Unternehmensdatenmodell standardisiert werden, um eine einfache Verständlichkeit zu gewährleisten.

Denken Sie daran, dass Sie sicherstellen müssen, dass es keine Abweichungen zwischen den Metadaten in den Quellensystemtabellen und den Data Warehouse-Entitäten gibt. Andernfalls treten beim Auffüllen des Data Warehouse Inkompatibilitäten auf. Diese Diskrepanzen erschweren die Erstellung erheblich Datenmapping um Daten von der Quelle zum Ziel zu verschieben.

Ein setzen Metadaten-Framework an Ort und Stelle reduziert die technische Verschuldung, die durch Abweichungen im Datenmodell und nachfolgende Datenpipelines entsteht, erheblich. Diese Diskrepanzen erfordern mehr Wartungsaktivitäten und erschweren die konsistente Aktualisierung verschiedener Schematypen. Stattdessen haben Sie getestete und bewährte und vor allem anpassbare Vorlagen, ohne Code zu schreiben.

Basierend auf diesen mit Metadaten angereicherten Datenmodellen können dann Skripte generiert und Datenelemente direkt an eine physische Datenbank weitergegeben werden.

Machen Sie Ihr Unternehmensdatenmodell agil

So machen Sie Ihr Datenmodell agil

Mit Agile sollten Sie in der Lage sein, Daten viel nahtloser zu verwalten und Änderungen in Ihr Datenmodell zu integrieren.

Es ist wichtig zu verstehen, dass die Datenmodellierung keine statische Aktivität ist. In modernen Unternehmen ist eine genaue und zeitnahe BI für fast jede Abteilung unerlässlich. Das bedeutet, dass mehr Benutzer auf das Data Warehouse zugreifen. Da sich diese Anforderungen nun weiterentwickeln, muss der Datenkonsument die vorhandene Architektur aktualisieren, um neue Quellen schnell integrieren zu können. Diese Fähigkeit muss in Ihren Designansatz integriert werden.

Die Schemamodellierung sollte sich darauf konzentrieren, Ergebnisse basierend auf aktuellen Geschäftsanforderungen bereitzustellen, anstatt ein genehmigtes Unternehmensdatenmodell zu erstellen, bevor die Entwicklung beginnt. Die Erstellung eines Datenmodells, das die Gesamtheit Ihrer Geschäftsabläufe darstellt, würde viel Zeit und Vorab-Designaufwand erfordern. So sehr, dass das Schema zu dem Zeitpunkt, an dem die Entwicklung tatsächlich beginnt, durchaus veraltet sein kann.

In einem agilen Ansatz würden Datenmodelle nach aktuellen BI-Anforderungen in . aufgebaut mehrere Iterationen. Angenommen, Ihr Vertriebsleiter möchte nach einer organisatorischen Umstrukturierung die Leistung mehrerer regionaler Einheiten vergleichen. Ihr Team würde ein Datenmodell erstellen, um diese Geschäftsregeln (auch bekannt als Data Mart) speziell widerzuspiegeln, das in der Lage wäre, die erforderlichen Erkenntnisse innerhalb weniger Wochen zu generieren. Dadurch wächst das Data Warehouse inkrementell wesentlich konsistenter. In jeder Phase wird eine neue Ausgabe erzeugt, die der Endbenutzer sofort auf Genauigkeit und Relevanz überprüfen kann.

In der Praxis müssen mehrere Aspekte berücksichtigt werden, damit ein solcher Ansatz gedeihen kann.

Erstens müssen die Geschäftsanwender in der Lage sein, während des gesamten Designprozesses eng mit dem Datenmodellierer zusammenzuarbeiten, um eine hohe Datenqualität sicherzustellen. Das bedeutet, dass das Schema so gestaltet sein sollte, dass es für beide Teams leicht verständlich ist, damit jegliche Missverständnisse minimiert werden.

Zweitens, wenn der Designprozess es Benutzern ermöglicht, auf Quellsysteme zuzugreifen, relevante Tabellen auszuwählen und sie in einem Datenmodell zu replizieren, wird die Zeit bis zur Bereitstellung erheblich verkürzt. Datenkonsumenten verfügen nun über die Funktionalitäten, um sicherzustellen, dass die Datensätze, über die berichtet werden muss, im fertigen Datenmodell zur Verfügung stehen. Wenn sich diese Anforderungen ändern, können mit den gleichen Techniken auch neue Tabellen zum Ausgangsmodell hinzugefügt werden.

Ein agiler Unternehmensdatenmodellierungsansatz sollte auch die Einrichtung eines Versionierungssystems ermöglichen, damit Aktualisierungen des ursprünglichen Schemas nachverfolgt und überwacht werden können. Wenn mehrere Versionen vorhanden sind, können Sie alle Änderungen bei Bedarf rückgängig machen.

Offenlegen von Daten auf einer Need-to-Know-Basis

Die Datensicherheit ist häufig ein Problem beim Entwerfen von UnternehmensdatenmodellenDaten für mich, aber nicht für dich

Der iterative Ansatz ermöglicht es Ihnen, einen viel detaillierteren Blick auf die für BI-Zwecke gelieferten Daten zu werfen.

Anstatt alle Ihre Datenspeicher in einem Unternehmensdatenmodell offenzulegen, das dann allen Organisationsmitgliedern zugänglich ist, entwerfen Sie benutzerdefinierte Schemata, um die Anforderungen jeder Benutzergruppe zu erfüllen. Diese Teams können dann ihre Abfragen auf relevante Datensätze beschränken und so ihre Reporting- und Analyseeffizienz verbessern. Gleichzeitig stellt die Organisation aus Sicht der Datensicherheit sicher, dass vertrauliche Informationen nur autorisierten Benutzern zugänglich gemacht werden.

Übernehmen Sie ein Schema für Ihr Unternehmensdatenmodell – Agnostischer Ansatz

Schema-Agnostischer Ansatz für die Datenmodellierung

Welches Schemadesign wählen Sie? Wenn wir also über Best Practices für die Datenmodellierung sprechen, fällt mir folgendes Schema ein Das Dimensionsmodell von Kimball. In diesem Schema sind Tabellen in einer groben sternförmigen Struktur angeordnet, wobei eine zentrale Faktentabelle Geschäftskennzahlen und verknüpfte Dimensionstabellen mit Kontext zu diesen Zahlen liefern.

Diese Struktur ist aus gutem Grund seit über drei Jahrzehnten in der Branche dominant. Das Dimensionsmodell ist in erster Linie für eine schnelle Abfrageleistung ausgelegt und bietet viel Flexibilität beim Hinzufügen neuer Quellen zu Berichtszwecken. Es ist auch ein geschäftsprozessorientierter Ansatz für das Data Warehouse-Design. Mit anderen Worten, es organisiert und präsentiert Daten auf eine für Endbenutzer leicht verständliche Weise.

Es gibt jedoch Gründe, warum Endbenutzer eine alternative Architektur in Betracht ziehen könnten. Ein herkömmliches Sternschema enthält beispielsweise viele Joins, die in einigen Fällen die Abfrageleistung beeinträchtigen können. Stattdessen bevorzugen sie möglicherweise einige breite Tabellen (viele Spalten), da dieses Design für einige Visualisierungstools besser geeignet ist. Darüber hinaus würde der Ansatz es Endbenutzern ermöglichen, Abfragen für eine einzelne Tabelle zu vereinfachen, anstatt mehrere Joins anzuwenden, was das Fehlerrisiko erhöht.

Ein alternatives konzeptionelles Modell, das in den letzten Jahren beträchtlich an Popularität gewonnen hat, ist die Data-Vault-Architektur. Dieses Schema führt zu einer flexiblen Architektur, die den geschäftsorientierten Ansatz des dimensionalen Modells mit der Skalierbarkeit des von Bill Inmon vertretenen 3NF-Formats kombiniert. Der DV besteht aus Hubs, die die identifizierenden Aspekte eines Unternehmens darstellen, und jeder enthält natürliche Schlüssel für diese Prozesse. Es gibt auch Links, die als Schnitttabellen dienen, die viele-zu-viele-Beziehungen zwischen den verschiedenen Hubs in der Architektur definieren. Schließlich enthalten Satelliten die beschreibenden Attribute sowohl für Hubs als auch für Links.

Abhängig von Ihren BI-Anforderungen könnte jede dieser Architekturen bevorzugt werden, aber die von Ihnen verwendeten Datenmodellierungstechniken sollten es Ihnen ermöglichen, verschiedene Schematypen mit Leichtigkeit zu entwerfen und zu verbreiten, egal ob es sich um ein dimensionales Modell, 3NF oder einen Datentresor handelt.

Astera DW Builder – Ein Modellierungstool für Unternehmensdaten für die DW-Entwicklung

Die automatisierte Datenmodellierung bildet die Grundlage von ADWB

Die automatisierte Datenmodellierung bildet die Grundlage von ADWB

Astera DW Builder ist ein metadatengesteuertes Data Warehouse-Automatisierungstool, das Ihren Weg zur Data Warehouse-Entwicklung radikal beschleunigt.

Dieses Produkt stellt die Datenmodellierung in den Mittelpunkt seiner Fähigkeiten. So können Sie Best-Practice-Unternehmensdatenmodelle von Grund auf neu entwerfen oder sie aus vorhandenen Quellsystemen mit der gleichen Leichtigkeit durch einfache Drag-and-Drop-Befehle zurückentwickeln.

Von dort aus können Sie Ihre Schemas mit zusätzlichen Spezifikationen für Dinge wie Tabellenattribute, Datentypen, Primärschlüssel, Fremdschlüssel anreichern. Auf dimensionaler Modellebene können Sie SCD-Typen für dynamische Felder, Gültigkeits-/Ablaufdaten und Ersatzschlüssel definieren, um ein effektives Laden und Abfragen zu erleichtern. ADWB unterstützt auch andere führende Designansätze, einschließlich Datentresoren und 3NF-Datenmodellen. Diese Beschreibungen werden dann einer Engine zugeführt, die dieses gesamte Schema automatisch in einer physischen Datenbank erstellt.

Das logische Arbeiten in einem einheitlichen Prozess beschleunigt Ihre Data Warehouse-Entwicklung und verkürzt die Bereitstellungszeiten von Monaten oder sogar Jahren auf wenige Tage.

Dieser neue Ansatz fördert auch die Zusammenarbeit. Nicht-technische Stakeholder können die logischen Definitionen und visuellen Elemente, die in einem mit Metadaten angereicherten Datenmodell verwendet werden, leicht verstehen. Dieses Wissen ermöglicht es ihnen, von Anfang bis Ende an Implementierungen teilzunehmen und sicherzustellen, dass die Ergebnisse viel besser auf ihre Bedürfnisse abgestimmt sind.

Das Datenmodell dient nun im Wesentlichen als Abstraktionsschicht, die es Endbenutzern ermöglicht, Quellsystemdaten anzuzeigen, ohne direkt darauf zuzugreifen. Diese Trennung bedeutet, dass Sie bestimmten Benutzern relevante Daten bereitstellen können, ohne sich um Data Governance-Probleme kümmern zu müssen.

Wenn es an der Zeit ist, gelieferte Daten zu analysieren, können die Metadaten an jede BI-Plattform weitergegeben werden, wo sie verwendet werden, um die über das Datenmodell zu importierenden Datensätze zu identifizieren.

Ein weiterer wesentlicher Vorteil ist hier die Plattformunabhängigkeit, da das Unternehmensdatenmodell nicht für eine bestimmte Datenbank fest codiert ist, sondern als Schema dient, das in jeder Datenbank in der Cloud oder vor Ort gelesen und einfach repliziert werden kann.

Schließlich ist die Fähigkeit, Metadatenelemente im Datenmodell zu aktualisieren und zu ändern, angesichts der schnell schwankenden Natur von Unternehmensdaten von entscheidender Bedeutung, damit Sie schnell iterieren und Berichtspipelines an die aktuellen Anforderungen der Geschäftsbenutzer anpassen können.

Wenn Sie all diese Elemente zusammenfassen, sprechen Sie von einem schnellen, agilen und wirklich ressourceneffizienten Prozess für die Entwicklung von Data Warehouses.

Möchten Sie aus erster Hand erfahren, wie diese Funktionalitäten Ihre Data Warehouse-Entwicklung beschleunigen können? Jetzt registrieren für unser kommendes Webinar, in dem Produktexperten und Brancheninsider das Potenzial dieses Best-Practice-Ansatzes demonstrieren. Du kannst auch melde dich direkt bei uns um ein Beratungsgespräch nach Ihren aktuellen Anforderungen zu vereinbaren.

Sie können auch mögen
Sternschema Vs. Snowflake-Schema: 4 Hauptunterschiede
So laden Sie Daten von AWS S3 in Snowflake
BigQuery vs. Redshift: Welches sollten Sie wählen?
In Anbetracht Astera Für Ihre Datenverwaltungsanforderungen?

Stellen Sie eine codefreie Konnektivität mit Ihren Unternehmensanwendungen, Datenbanken und Cloud-Anwendungen her, um alle Ihre Daten zu integrieren.

Lassen Sie uns jetzt eine Verbindung herstellen!
Lass uns verbinden