Wenn Sie mit einem Dateningenieur oder -architekten über den Aufbau eines agilen Data-Warehouse-Designs oder die Wartung einer Data-Warehouse-Architektur gesprochen haben, werden Sie wahrscheinlich sagen hören, dass es sich um einen kontinuierlichen Prozess handelt, der nicht wirklich ein bestimmtes Ende hat.Und das ist im Wesentlichen so ziemlich die Wahrheit.
Eine erfolgreiche Data Warehouse-Design verwendet im Allgemeinen einen agilen Ansatz, iterative Entwicklungsmethoden, die sicherstellen, dass hochwertige Erkenntnisse für Endbenutzer auf der Grundlage aktueller Geschäftsdaten bereitgestellt werden.
Glücklicherweise mögen Cloud Data Warehouse-Anbieter Microsoft Azure und Amazon RedShiftbieten schnelle Flexibilität und Skalierbarkeitsoptionen, die die Übernahme dieses Ansatzes relativ einfacher machen als die starren traditionellen Frameworks. Eine sich ständig weiterentwickelnde Architektur bedeutet, dass Sie Zugriff auf genaue, aktuelle Daten haben, um Ihre Analysen voranzutreiben und Teams und Abteilungen die Möglichkeit zu geben, ihre jeweiligen Ziele zu erreichen.
Wie Geoffrey Moore richtig sagte:
"Ohne Big-Data-Analyse sind Unternehmen blind und taub und wandern wie Rehe auf einer Autobahn ins Internet."
Wie können Sie also Ihr eigenes agiles Data-Warehouse-Design erstellen, wie funktioniert diese iterative Data-Warehousing-Lösung und welche Ergebnisse kann ein Data-Warehouse-Team aus Ingenieuren und Business-Analysten davon erwarten?
Schritte zum Aufbau eines Data Warehouse
Erstellen einer anpassungsfähigeren, reaktionsschnelleren Data Warehouse-Infrastruktur
In einem iterativen Entwicklungsmodell befindet sich das Data Warehouse in einem ständigen Verbesserungs- und Entwicklungszustand. Anstatt eine Architektur zu erstellen, die alle Fragen am ersten Tag beantwortet, konzentriert sich Ihr Team auf die Informationen, die für Ihre Geschäftsbenutzer am wichtigsten sind. Sie müssen Prioritäten setzen, was wichtig ist, sie in kleine überschaubare Segmente einteilen und dann mehrere Runden durchführen, um Ihre Data Warehouse-Architektur basierend auf Ihren Geschäftsanforderungen zu ändern.
Um dies zu erreichen, arbeiten Datenteams in mehreren Sprints und Zyklen und nehmen Änderungen an der vor ETL fließt, dimensionale Modelleund andere Datenprozesse, nachdem Feedback von Geschäftsanalysten und anderen Stakeholdern eingeholt wurde. Durch kontinuierliches Feedback wird nach jedem Zyklus sichergestellt, dass diese Implementierungen ein zutreffendes Bild der Geschäftsleistung liefern und Schwachstellen und Lücken effektiv beheben.
Was benötigen Sie, um ein agiles Data Warehouse aufzubauen?
Abgesehen von einem engagierten Team von Datenarchitekten und Analysten benötigen Sie im Wesentlichen ein Data Warehousing-Tool, das eine codelose Entwicklungsumgebung bietet, um schnelle Änderungen zu ermöglichen und die Starre aus der Architektur herauszuholen.
Hauptkomponenten von AsteraData Warehouse Builder
Vor diesem Hintergrund kann fast jedes Unternehmen eine agile Data Warehousing-Lösung bereitstellen, vorausgesetzt, es verfügt über den richtigen Technologie-Stack, der die Initiative befeuert. Im Wesentlichen, ein Data Warehousing-Tool sollte liefern:
- Funktionen zur Modellierung von Quelldaten Dadurch können Sie problemlos Beziehungen zwischen Ihren Datenquellen abbilden und aufbauen
- Dimensionsmodellierungsfunktionalität Dies kann dazu beitragen, Fakten und Dimensionen basierend auf den Quelldaten zu ermitteln und das Schema und die Tabellen zu generieren, die in Ihr Ziellager passen würden
- A Hochleistungs-ETL-Motor Vereinfachung und Beschleunigung der Datenaggregation und Bereitstellung einer Reihe von Transformationsoptionen wie Normalisierung, Denormalisierung, Zusammenführung, Verknüpfung und mehr
- Die Option zum Wechseln zu ELT oder Pushdown-Modus Verkürzung der Zeit für die schnelle Transformation und den schnellen Zugriff auf Geschäftsdaten
- Datenqualitätsmodule um sicherzustellen, dass jedes Datenbyte den Qualitätsstandards Ihres Unternehmens entspricht
- Eine breite Palette von Webanwendungen, Datenbanken und Cloud Anschlüsse um eine Verbindung herzustellen und Ihre Geschäftsdaten in Ihr Data Warehouse zu bringen
- Abmessungen langsam ändern (Typen 1-6), um zu steuern, wie verschiedene Datenfelder in Datenbanktabellen ausgefüllt werden
- Unterstützung für OData-Dienst Endbenutzern sichere Möglichkeiten zu bieten, auf Daten für Berichte und Analysen zuzugreifen
Dies ist keine vollständige Liste, sondern nur ein Überblick über die wichtigsten Merkmale und Funktionen, die erforderlich sind. Jetzt finden Sie möglicherweise viele Lösungsanbieter, die mehrere Tools zusammenflicken und ein maßgeschneidertes Paket erstellen, um die Funktionslücken zu schließen. Der empfohlene Weg ist jedoch, sich für a zu entscheiden einheitliche Plattform das alle diese Kästchen ankreuzt, um Ihre Data-Warehousing-Anforderungen zu erfüllen.
Okay, hört sich toll an. Aber warum sollte ich diesen Ansatz in Betracht ziehen?
Nun, hier ist der Grund:
Der Hauptzweck jeder Implementierung eines agilen Data-Warehouse-Designs besteht darin, Antworten bereitzustellen, die durch vertrauenswürdige Daten gestützt werden, die auf dem aktuellen Geschäftsszenario basieren.
Das Problem ist jedoch, dass wachsende Unternehmen neue Datenquellen erwerben und den Informationsfluss in Apps und Datenbanken ändern, um dem Tempo ihrer steigenden Geschäftsanforderungen gerecht zu werden. All diese neuen Quellen und strukturellen Aktualisierungen müssen natürlich in den vorhandenen Datenmodellen berücksichtigt und im zentralen Repository berücksichtigt werden, um den Endbenutzern genaue, vertrauenswürdige Daten bereitzustellen.
Daher folgt der iterative Ansatz der agilen Methodik, die es Ihnen ermöglicht, die flexibelste, ergebnisorientierte Architektur zum Aufbau Ihres Enterprise Data Warehouse zu entwerfen, zu entwickeln und bereitzustellen. Sie können problemlos neue Datenströme einbinden, ohne ETL-Skripte erneut aufrufen oder neu schreiben zu müssen, und das innerhalb weniger Stunden, wenn nicht sogar Minuten. Das liegt vor allem daran, dass moderne Data-Warehousing-Tools eine codefreie Entwicklungsumgebung und eine durchgängige Prozessautomatisierung bieten, mit der Sie Ihre Abläufe schnell ändern und bessere ETL-Prozesse erstellen können.
Darüber hinaus können Sie die Vorteile auch in verschiedenen Szenarien nutzen. Ob es darum geht, den Data Warehousing-Prozess zu planen und zu strategisieren, Prototypen einzusetzen, um seine Machbarkeit zu testen, oder ETL-Tests durchzuführen, um konsistente Ergebnisse sicherzustellen, diese agile Methodik erleichtert den Entwicklungsprozess in jeder Phase.
Vielleicht zeigt sich der wahre Wert dieses Ansatzes in den geschäftlichen Vorteilen, die Organisationen mit ihrer Implementierung erzielen können. Dazu gehören unter anderem:
- Schnellere Ergebnisse, um die Anforderungen von Data Warehouse Business Intelligence (DW BI) und Analysen von Endbenutzern zu erfüllen
- Bessere Ausrichtung auf die sich entwickelnden Geschäftsanforderungen
- Beschleunigung des Prototyping und der Machbarkeitsanalyse
- Niedrigere Gesamtbetriebskosten aufgrund optimierter Entwicklungsprozesse
- Höhere Qualität, aktuelle Einblicke in robuste Entscheidungen
- Reduzierte Projektkomplexität durch kleinere, besser handhabbare Zyklen
- Die Fähigkeit, Mängel schneller zu erkennen, führt zu einem besseren Risikomanagement
- Mehr Transparenz über Fortschritt, Leistung und Herausforderungen in jeder Iteration
Eine Lösung, die zur Rechnung passt
„Die traditionelle Architektur ist viel zu langsam. Wir haben nicht mehr den Luxus von zwei bis drei Monaten. Wir müssen in der Lage sein, den Benutzern zu sagen: "Wir können das für Sie haben - in zwei bis drei Tagen." - Rick van der Lans
Von der Quelle zur Erkenntnis – 7 Schritte
Und hier finden Sie moderne Data Warehousing-Lösungen Astera DW-BuilderEs ist bekannt, dass die Entwicklungszeit durch End-to-End-Automatisierung erheblich verkürzt wird. Es bietet ein einheitliches Data Warehousing-Framework, mit dem ein Unternehmen von der Erfassung von Anforderungen bis hin zur Analyse über die direkte Integration in die Datenvisualisierungssoftware wechseln kann.
Möchten Sie Ihr eigenes Data Warehouse basierend auf einer agilen, iterativen Entwicklungsmethode erstellen? Machen Sie den ersten Schritt und erhalten Sie eine personalisierte Live-Demo of Astera DW-Builder.