Datenvordenker Krish Krishnan zur automatisierten Datenmodellierung

By |2022-01-03T10:20:17+00:00November 3rd, 2021|

Wir haben vor kurzem unsere Data Warehouse Automation (DWA)-Plattform der nächsten Generation vorgestellt. Astera DW-Builder, das einen agilen, metadatengesteuerten Ansatz zum Aufbau von Data Warehouses bietet. Unsere Lösung richtet sich an Unternehmen, die ihren Projektlebenszyklus beschleunigen und den Design- und Entwicklungsprozess von Data Warehouses vereinfachen möchten.

At Astera, konzentrieren wir uns immer auf Innovation und die Verbesserung unserer Technologie, um unseren Benutzern das beste Erlebnis zu bieten. Um tiefere Einblicke in die Datenmodellierung für moderne Unternehmen zu gewinnen, haben wir uns mit Experten und Branchenführern in Verbindung gesetzt, um ihre Meinung zu diesem Thema zu erfahren.

Wir hatten die fantastische Gelegenheit, ein Gespräch mit Krish Krishnan zu führen – einem visionären Vordenker für Daten, der zu den besten Data Warehouse-Beratern der Welt zählt. Er ist Autor von drei eBooks und zahlreichen Artikeln, Whitepapers, Fallstudien und anderen Veröffentlichungen zu Data Warehouse-Appliances und -Architekturen.

In unserer Diskussion teilte er seine Gedanken zur entscheidenden Rolle der Datenmodellierung beim Aufbau von BI-Architekturen und dem transformativen Potenzial der automatisierten Datenmodellierung in der heutigen Welt. Er beleuchtete auch die Bedeutung eines metadatengesteuerten Ansatzes. Schauen wir uns einige wichtige Erkenntnisse aus der Diskussion an:

Welche Bedeutung hat die Datenmodellierung für eine effektive Data Warehouse-Implementierung?

Ein Data Warehouse ist ein Repository aller transaktionalen Verhaltensweisen, die im gesamten System auftreten. Ohne Datenmodellierung kann aus Verbrauchssicht keine effiziente Lösung erstellt werden. [Also] Es ist wichtig, ein Modell zu erstellen, bevor Sie zum Datenverbrauch übergehen. Es bedeutet, halbstrukturierte und unstrukturierte Daten in ein strukturiertes Format umzuwandeln. Die Empfehlung lautet „modellieren Sie nicht, wenn das Modell hereinkommt, aber modellieren Sie, wenn die Daten herausgezogen werden.“

Sollen Datenmodelle um Ihre vorhandenen Daten herum aufgebaut werden oder sollen sie den zugrunde liegenden Geschäftsprozess widerspiegeln?

Die Daten werden generiert, um die Prozessergebnisse zu erfüllen, daher muss das Datenmodell um die Anforderungen des Endbenutzers herum aufgebaut werden. Dies bedeutet, dass Sie über ein Modell verfügen müssen, wenn Daten das Data Warehouse verlassen. Das Business-Consumer-Modell muss zwischen die Datenlandung eingefügt werden und eine Reihe von Transformationen sollte um den Prozess herum aufgebaut werden. Es ist also eine Kombination aus beidem.

Aber wie tief und weit Sie gehen möchten, ist der Punkt, an dem die Automatisierung ins Spiel kommt. In der heutigen datengesteuerten Welt ist es notwendig, den Prozess zu automatisieren. Die Datenlandung im Lager sollte näher am Prozess erfolgen. Daten, die für eine Analyse ausgegeben werden, sollten datenzentrierter sein. Dazwischen können Sie Automatisierung einsetzen, um Transformationen durchzuführen und die Effizienz zu maximieren.

Ist es eine gute Idee, im Voraus ein Unternehmensdatenmodell zu erstellen?

Eine bevorzugte Lösung ist ein geschäftsorientiertes Modell, das gesammelte logische Rohdaten verwendet. Daher sind die Rohdaten in einer einzigen zentralen Quelle [vorhanden], können jedoch mehreren Endzustandszwecken dienen. Es würde Benutzern ermöglichen, Modelle nach Bedarf ein- und auszudrehen.

Hier kommt die Datenzentrierung ins Spiel. Sie verlangt, dass jede Person in einer Organisation verstehen muss, wer Daten produziert, was in Daten ankommt, wer diese Daten verwendet und wie sie diese Daten verwenden möchte.

"Data centricity bedeutet, dass Sie nicht auf die Technik ausgerichtet sindnologie sondern der Prozess, der mit der Technologieschicht modelliert und untersucht werden kann."

Sollte ein iterativer Ansatz für die Datenmodellierung die bevorzugte Wahl sein?

Der konventionelle Ansatz von 'Inmon' bestand darin, einen Giganten zu bauen und ihn zu füllen. Ein eher iterativer Ansatz ist ein dimensionaler 'Kimball'-Ansatz, der die Möglichkeit bietet, bei Bedarf aufzustocken und über eine Reihe von Integrationspunkten verfügt, über die Sie jede Abspaltung verbinden können. Daher ist es nicht unbedingt erforderlich, jedes Mal ein Sternschema zu erstellen.

Bisher wurde das Schemadesign hauptsächlich von einem relationalen Datenbankmanagementsystem gesteuert. Das liegt daran, dass das Schema dem Design folgen muss. Das Transaktionssystem erfordert diese Disziplin. Es ist jedoch wichtig zu verstehen, dass ein Data Warehouse nicht transaktional ist, sondern alles speichert, was in mehreren Transaktionssystemen passiert ist.

An iterativer Ansatz zur Datenmodellierung die sich auf die Geschäftszentrierung konzentrieren würde, sollte eine bevorzugte Wahl sein.

Was sind Datentresore?

„Datentresore wurden um 2010 von Dan Linstedt und Hans Hallgren eingeführt, aber sie wurden in den letzten Jahren bekannt und populär, da immer mehr Unternehmen in die Cloud wechseln. Tech-Giganten wie Amazon, Google und Microsoft und eine Vielzahl anderer Anbieter, die mit ihnen Dienstleistungen erbringen, arbeiten aufgrund der Vorteile, die dies mit sich bringt, an Data Vaulting.

Es handelt sich um eine Methodik, mit der Sie kritische Daten in Ihre Systeme übernehmen können. Sie könnten [Daten] in einen Tresor legen und sichern. Dann können Sie auf letzter nativer Basis über eine Wallet darauf zugreifen, wodurch Sie verschiedene Arten von Daten aus mehreren Bereichen einbringen können.“

Was ist das transformative Potenzial der automatisierten Datenmodellierung?

Krish ist der Ansicht, dass eine automatisierte Datenmodellierung einen effizienteren Umgang mit Daten bedeutet. Zum Beispiel ist eine Kundentabelle im System bereit. Sie können Metadaten hinzufügen, einschließlich Kundenname, Adressen, Stadt, Bundesland, Land, Postleitzahl, Kontaktdaten usw. Die definierten Felder helfen, den gesamten Prozess der Dokumentation dieser Informationen zu beschleunigen.

"Was bringt Ihnen diese Automatisierung? Es beschleunigt die Notwendigkeit, jede Anforderung zu dokumentierenT. EINalles ist entfernt. GXNUMX. TDas ist die Stufe, auf die wir automatisieren müssen."

Das stimmt. Der automatisierte Datenmodellierungsprozess erleichtert die Erstellung eines Meta-Repositorys, das Beziehungen herstellt, Diskrepanzen minimiert und unterschiedliche Systeme integriert. Es beseitigt auch Dateninkonsistenzen und -ungenauigkeiten, wodurch der Wert der Analyse und Berichterstattung erhöht wird.

Gedanken zum Abschied?

"Wir müssen anfangen, diesen Wandel anzunehmen, und Wandel bedeutet Chaos. Chaos ist die einzige Konstante in der Welt, in der wir leben.

Das sieht man buchstäblich in der Welt, in der wir heute leben. Also, gehen Sie einen Schritt zurück und verbringen Sie die Woche. Lesen Sie etwas, hören Sie sich einige ernsthafte Podcasts von mehreren Anbietern an und verstehen Sie, welche Probleme gelöst werden.

[Und] dann versuchen Sie, sich zu überlegen und zu sehen, wie Sie dasselbe mit einem neuen Werkzeug in der Hand tun. das sind meine Abschiedskommentare für die heutige Diskussion.“

Wenn du nehmen willst Astera DW Builder für eine Probefahrt, klicken Sie hier.. Wenn Sie Ihren Anwendungsfall für Data Warehousing mit unserem technischen Team besprechen möchten, kontaktieren Sie uns bitte hier Link.