Einführung in die metadatengesteuerte Datenarchitektur

By |2022-01-11T12:10:08+00:0016. Februar 2021|

Metadaten können als Informationen über Ihre Daten verstanden werden

Bei Business-Intelligence-Projekten misst sich der Erfolg an der Geschwindigkeit. Je schneller Sie umsetzbare Erkenntnisse von Ihren Analysten und Entscheidungsträgern erhalten, desto wahrscheinlicher werden diese Informationen in einen Wert für Ihr Unternehmen umgewandelt. In der Welt des Data Warehousing bedeutet dies die Verwendung einer Metadatenarchitektur, um ein funktionierendes Dimensionsmodell und Datenflüsse zu erstellen, um das Data Warehouse zu füllen.

Um einen wirklich agilen Ansatz zu verfolgen, müssen sich Unternehmen von den serialisierten Übergaben zwischen Geschäftsbenutzern, Entwicklern und Architekten entfernen, die die traditionelle Data Warehouse-Entwicklung ausmachen. Stattdessen ein kollaborativer Prozess der Einbeziehung Metadaten in einem Data Warehouse muss in kurzen iterativen Zyklen übernommen werden, damit konstante Ergebnisse an wartende Stakeholder geliefert werden können. In diesem Blog wird daher erläutert, was Metadatenarchitektur ist, welche Vorteile Metadaten bieten und warum Sie Ihr eigenes Data Warehouse erstellen sollten.

Astera DW Builder (ADWB) ist eine End-to-End-Lösung, die diese Art der beschleunigten Data Warehouse-Entwicklung perfekt unterstützt. Mit unserem Produkt können Benutzer in nur wenigen Tagen ein umfassendes Dimensionsmodell konfigurieren und bereitstellen, das mit Metadaten auf technischer und geschäftlicher Ebene angereichert ist.

Was ist Metadatenarchitektur?

Die Metadatenarchitektur konzentriert sich auf das Metadatenmanagement. Viele Unternehmen sind jedoch gezwungen, ihre Entscheidungsunterstützungssysteme neu aufzubauen, da ihre aktuellen Systeme fehlerhafte Architekturen aufweisen. Die Architektur eines Metadaten-Repositorys spielt eine wichtige Rolle für die Effektivität von Entscheidungsunterstützungssystemen. Daher dauert es einige Zeit, die Architektur für ein Metadaten-Repository zu erstellen, das alle Metadatenanforderungen einer Organisation erfüllt.

A Metadaten-Repository speichert und verwaltet betriebswirtschaftliches Wissen. Aufgrund der Herausforderungen, die mit der gemeinsamen Nutzung und Verwaltung von Metadaten verbunden sind, sind mehrere Architekturen für Metadaten-Repositorys entstanden. Die drei gängigsten Architekturansätze für Metadaten sind:

  1. Zentrales Metadatenmanagement
  2. Verteilte Metadatenverwaltung
  3. Hybrid zentralisiert

Warum sollten Sie sich für einen metadatengesteuerten Architekturansatz entscheiden?

Metadaten dienen als Leitfaden, wenn Sie in einem BI-Tool durch Ihre Daten navigieren

dataedo.com/cartoon/we-have-data-now-what

Eine Metadatenarchitektur ist das schlagende Herz jeder effektiven BI-Implementierung. Es bietet einen wichtigen Kontext für verschiedene Elemente Ihres Data Warehouse, einschließlich struktureller Informationen über die Entitätsbeziehungen und Datenformate, aus denen die Architektur des EDW besteht. Metadaten zeigen auch umfassendere Geschäftsdetails wie die Prozesse und Definitionen, die mit einem bestimmten Datensatz verbunden sind.

Ob Sie untersuchen, aus welchem ​​Quellsystem ein bestimmter Zahlensatz in Ihrem Bericht stammt, wie häufig eine Dimension aktualisiert wird, oder die Geschäftsregeln prüfen, die zur Validierung einer neuen Eingabe verwendet wurden – eine Metadatenarchitektur kann Ihnen dabei helfen, die Daten, mit denen Sie arbeiten, und treffen so weitaus effektivere Geschäftsentscheidungen.

Vorteile des Metadatenarchitekturansatzes

  • Erhalten Sie vollständige Übersicht über die Prozesse und Vorgänge, die Ihre Unternehmensdaten an das Data Warehouse liefern.
  • Ermöglichen Sie Datenbenutzern, ihre eigenen Daten zu verwalten und zu steuern, ohne auf den Code selbst einzugehen.
  • Machen Sie Daten für unternehmensweite Benutzer zugänglicher.
  • Ermöglichen Sie Benutzern das schnelle Aktualisieren und Ändern bereitgestellter Datenmodelle gemäß den aktuellen BI-Anforderungen.
  • Reduzieren Sie die Datenredundanz und stellen Sie sicher, dass nur relevante Daten in Ihrem Data Warehouse vorhanden sind.

Erstellen Sie Ihr Data Warehouse in Tagen auf logischer Ebene

Sie müssen kein Programmierer sein, um ein Data Warehouse zu verwenden

 

Astera DW Builder entzieht der komplexen Welt die Entwicklung von Data Warehouse ETL Scripting und in die Welt des logischen Designs. Unsere einheitliche Plattform ermöglicht es Ihnen, alle Elemente der Metadatenarchitektur zu visualisieren und zu verwalten, aus denen Ihre Quellsysteme, Dimensionsmodelle und Datenflüsse bestehen, ohne Code schreiben zu müssen.

Das Ergebnis ist ein schneller, agiler Ansatz für die Entwicklung von Data Warehouse, der die Kontrolle in die Hände der Dateneigentümer legt und die Übergabe an IT-Teams minimiert.

Übernehmen Sie die Verantwortung für das Data Warehouse-Design

Sehen Sie, was Ihre Daten ausmacht, indem Sie eine Metadatenarchitektur implementieren

Über die Datenmodellschnittstelle können Sie umfassende Datenmodelle aus jeder Cloud oder lokalen Datenbank zurückentwickeln und anschließend die Datenstrukturen visualisieren, die die Betriebs- und Berichterstellungsprozesse in Ihrem Unternehmen steuern.

Das Datenmodell zeigt:

  • Wie unterschiedliche Entitäten innerhalb einer zugrunde liegenden physischen Datenbank verbunden sind.
  • Die Namenskonventionen und Beschreibungen werden verwendet, um jede Entität zu definieren.
  • Entitätsattribute und ihre Datentypen.

Sobald Sie mit Ihrer Datenmodellstruktur zufrieden sind, können Sie mit der Konfiguration der Metadatenelemente beginnen, um ein Schema zu erstellen, das Ihren Geschäftsanforderungen entspricht. Ganz gleich, ob Sie ein normalisiertes ER-Modell oder ein komplettes Sternschema mit definierten Dimensions- und Faktentabellen-Entitäten und SCD-Handling für bestimmte Attribute pflegen möchten – Sie können eine vollständige Palette codefreier Funktionen nutzen, um Ihr Data Warehouse zu entwerfen.

Generieren Sie eine vollständige Zuordnung von Quelle zu Data Warehouse

Implementieren Sie eine Metadatenarchitektur, um bessere Analysen Ihrer Daten durchzuführen

Astera DW Builder nutzt eine robuste Datenintegrationsplattform, um schnelle Datenmapping von Ihren Quellsystemen bis zum Data Warehouse. Wenn die Schemas eingerichtet sind, können Sie schnell mit der Erstellung von Datenflüssen beginnen, indem Sie denselben metadatengesteuerten ETL-Ansatz verwenden.

Innerhalb des Datenflussmoduls finden Sie eine Vielzahl von Drag & Drop-Objekten, die den Ladevorgang für Ihr Data Warehouse steuern. Diese schließen ein:

  • Out-of-the-Box-Konnektoren für eine Reihe von Anwendungen und Datenbanken, einschließlich führender Cloud-Dienstanbieter wie Microsoft Azure und Amazon. Sie können auch eine direkte Verbindung zu einem Datenmodell herstellen oder eine SQL-Abfrage verwenden, um bestimmte Tabellen aus Ihrer Quellendatenbank abzurufen.
  • Ein vollständiges Toolset mit Transformationen, einschließlich Verknüpfungen, Filtern, Analyse von Namen und Adressen sowie eines benutzerdefinierten Ausdrucksgenerators.
  • Datenqualitätstools, mit denen Sie Ihre Quellsystemdaten bereinigen und validieren können.
  • Fakten- und Dimensionslader zur Beschleunigung der Datenpopulation in einem Dimensionsmodell.

Auch hier müssen Sie nur auf logischer Ebene mit diesen Elementen interagieren. Astera Mit Data Warehouse Builder können Sie Tabellenspaltennamen, enthaltene Datentypen und Werte sowie das vorgeschriebene Layout für Zieltabellen vollständig konfigurieren, um die Datenzuordnung zu vereinfachen.

Bereitstellen und erneutes Bereitstellen von Datenmodellen in Minuten

Die Metadatenarchitektur erhöht die Verarbeitungsgeschwindigkeit für Daten

Astera DW Builder unterstützt die iterative Entwicklung. Sobald Sie Ihre Datenmodelle eingerichtet haben, können Sie sie mit wenigen Klicks überprüfen und bereitstellen. Genauso einfach ist es jedoch, neue Quellen und Anforderungen in Ihre Architektur zu integrieren. Wenn Sie sich darauf verlassen können, dass Ihr IT-Team diese Bemühungen steuert, werden Sie lange darauf warten, dass Entwickler den Code verwenden, um ETL-Skripte Stück für Stück zu aktualisieren und zu testen.

Mit der Astera Mit DW Builder können Sie neue Entitäten hinzufügen oder vorhandene Entitäten im Datenmodell bearbeiten. Erstellen Sie die erforderliche Datenzuordnung, um sie in das Data Warehouse im Datenflussmodul zu bringen. Stellen Sie dann die neuen Daten für den Verbrauch bereit, indem Sie das Datenmodell einfach erneut bereitstellen.

Wir bieten integrierte Cloud-Integrationsfunktionen, mit denen Sie Ihr Data Warehouse mit nur wenigen Klicks in der Cloud bereitstellen können. Unabhängig davon, ob Sie Ihr BI in Azure Synapse oder Snowflake einrichten möchten, können wir Ihnen den Übergang problemlos erleichtern.

Gehen Sie agil mit Astera Data Warehouse Builder

Wir helfen Ihnen gerne dabei, jeden Schritt in Ihrem Data Warehouse-Entwicklungsprozess zu automatisieren und zu beschleunigen. Für einen vollständigen Überblick über unsere Features und Funktionen, Kontaktieren Sie uns und finden Sie heraus, welchen Wert wir für Ihr BI-Projekt haben können. Möchten Sie mehr lesen? Sehen Sie sich diese umfassende Aufschlüsselung unserer Metadatenarchitektur hier an.