Einführung in die metadatengesteuerte Datenarchitektur

By |2021-07-14T10:59:20+00:0016. Februar 2021|

Bei Business Intelligence-Projekten wird der Erfolg an der Geschwindigkeit gemessen. Je schneller Sie von Ihren Analysten und Entscheidungsträgern umsetzbare Erkenntnisse erhalten, desto wahrscheinlicher machen sie diese Informationen zu einem Wert für Ihr Unternehmen. In der Welt des Data Warehousing bedeutet dies, dass ein funktionierendes Dimensionsmodell und Datenflüsse erstellt werden, um das Data Warehouse so schnell wie möglich zu füllen.

Um einen wirklich agilen Ansatz zu verfolgen, müssen sich Unternehmen von den serialisierten Übergaben zwischen Geschäftsbenutzern, Entwicklern und Architekten entfernen, die die traditionelle Data Warehouse-Entwicklung ausmachen. Stattdessen ein kollaborativer Prozess der Einbeziehung Metadaten in einem Data Warehouse muss in kurzen iterativen Zyklen übernommen werden, damit konstante Ergebnisse an wartende Stakeholder geliefert werden können. In diesem Blog wird daher erläutert, was Metadatenarchitektur ist, welche Vorteile Metadaten bieten und warum Sie Ihr eigenes Data Warehouse erstellen sollten.

Astera DW Builder (ADWB) ist eine End-to-End-Lösung, die diese Art der beschleunigten Data Warehouse-Entwicklung perfekt unterstützt. Mit unserem Produkt können Benutzer in nur wenigen Tagen ein umfassendes Dimensionsmodell konfigurieren und bereitstellen, das mit Metadaten auf technischer und geschäftlicher Ebene angereichert ist.

Was ist Metadatenarchitektur?

Die Metadatenarchitektur konzentriert sich auf das Metadatenmanagement. Viele Unternehmen sind jedoch gezwungen, ihre Entscheidungsunterstützungssysteme neu aufzubauen, da ihre aktuellen Systeme fehlerhafte Architekturen aufweisen. Die Architektur eines Metadaten-Repositorys spielt eine wichtige Rolle für die Effektivität von Entscheidungsunterstützungssystemen. Daher dauert es einige Zeit, die Architektur für ein Metadaten-Repository zu erstellen, das alle Metadatenanforderungen einer Organisation erfüllt.

Ein Metadaten-Repository speichert und verwaltet Geschäftswissen. Aufgrund der Herausforderungen, die mit der Freigabe und Verwaltung von Metadaten verbunden sind, sind mehrere Metadaten-Repository-Architekturen entstanden. Die drei häufigsten Architekturansätze für Metadaten sind:

  1. Zentrales Metadatenmanagement
  2. Verteilte Metadatenverwaltung
  3. Hybrid zentralisiert

Warum sollten Sie sich für einen metadatengesteuerten Architekturansatz entscheiden?

dataedo.com/cartoon/we-have-data-now-what

Das Metadatenmanagement ist das Herzstück jeder effektiven BI-Implementierung. Es bietet einen wichtigen Kontext für verschiedene Elemente Ihres Data Warehouse, einschließlich struktureller Informationen zu den Entitätsbeziehungen und Datenformaten, aus denen die Architektur der EDW besteht. Metadaten zeigen auch umfassendere Geschäftsdetails wie die Prozesse und Definitionen, die einem bestimmten Datensatz zugeordnet sind.

Unabhängig davon, ob Sie untersuchen, aus welchem ​​Quellsystem ein bestimmter Satz von Zahlen in Ihrem Bericht stammt, wie häufig eine Dimension aktualisiert wird oder ob Sie die Geschäftsregeln prüfen, die zur Validierung einer neuen Eingabe verwendet wurden - Metadaten können Ihnen helfen, die Daten zu verstehen, die Sie verwenden arbeiten mit und treffen somit weitaus effektivere Geschäftsentscheidungen.

Vorteile des metadatengesteuerten Ansatzes

  • Erhalten Sie vollständige Übersicht über die Prozesse und Vorgänge, die Ihre Unternehmensdaten an das Data Warehouse liefern.
  • Ermöglichen Sie Datenbenutzern, ihre eigenen Daten zu verwalten und zu steuern, ohne auf den Code selbst einzugehen.
  • Machen Sie Daten für unternehmensweite Benutzer zugänglicher.
  • Ermöglichen Sie Benutzern das schnelle Aktualisieren und Ändern bereitgestellter Datenmodelle gemäß den aktuellen BI-Anforderungen.
  • Reduzieren Sie die Datenredundanz und stellen Sie sicher, dass nur relevante Daten in Ihrem Data Warehouse vorhanden sind.

Erstellen Sie Ihr Data Warehouse in Tagen auf logischer Ebene

 

Astera DW Builder entzieht der komplexen Welt die Entwicklung von Data Warehouse ETL Scripting und in die Welt des logischen Designs. Mit unserer einheitlichen Plattform können Sie alle Metadatenelemente, aus denen Ihre Quellsysteme, Dimensionsmodelle und Datenflüsse bestehen, visualisieren und verwalten, ohne Code schreiben zu müssen.

Das Ergebnis ist ein schneller, agiler Ansatz für die Entwicklung von Data Warehouse, der die Kontrolle in die Hände der Dateneigentümer legt und die Übergabe an IT-Teams minimiert.

Übernehmen Sie die Verantwortung für das Data Warehouse-Design

Über die Datenmodellschnittstelle können Sie umfassende Datenmodelle aus jeder Cloud oder lokalen Datenbank zurückentwickeln und anschließend die Datenstrukturen visualisieren, die die Betriebs- und Berichterstellungsprozesse in Ihrem Unternehmen steuern.

Das Datenmodell zeigt:

  • Wie unterschiedliche Entitäten innerhalb einer zugrunde liegenden physischen Datenbank verbunden sind.
  • Die Namenskonventionen und Beschreibungen werden verwendet, um jede Entität zu definieren.
  • Entitätsattribute und ihre Datentypen.

Sobald Sie mit Ihrer Datenmodellstruktur zufrieden sind, können Sie mit der Konfiguration der Metadatenelemente beginnen, um ein Schema zu erstellen, das Ihren Geschäftsanforderungen entspricht. Unabhängig davon, ob Sie ein normalisiertes ER-Modell oder ein vollständiges Sternschema mit definierten Dimensions- und Faktentabellenentitäten und SCD-Behandlung für bestimmte Attribute beibehalten möchten, können Sie eine Vielzahl von codefreien Funktionen für das Design Ihres Data Warehouse nutzen.

Generieren Sie eine vollständige Zuordnung von Quelle zu Data Warehouse

Astera DW Builder nutzt eine robuste Datenintegrationsplattform, um schnelle Datenmapping von Ihren Quellsystemen bis zum Data Warehouse. Wenn die Schemas eingerichtet sind, können Sie schnell mit der Erstellung von Datenflüssen beginnen, indem Sie denselben metadatengesteuerten ETL-Ansatz verwenden.

Innerhalb des Datenflussmoduls finden Sie eine Vielzahl von Drag & Drop-Objekten, die den Ladevorgang für Ihr Data Warehouse steuern. Diese schließen ein:

  • Out-of-the-Box-Konnektoren für eine Reihe von Anwendungen und Datenbanken, einschließlich führender Cloud-Dienstanbieter wie Microsoft Azure und Amazon. Sie können auch eine direkte Verbindung zu einem Datenmodell herstellen oder eine SQL-Abfrage verwenden, um bestimmte Tabellen aus Ihrer Quellendatenbank abzurufen.
  • Ein vollständiges Toolset mit Transformationen, einschließlich Verknüpfungen, Filtern, Analyse von Namen und Adressen sowie eines benutzerdefinierten Ausdrucksgenerators.
  • Datenqualitätstools, mit denen Sie Ihre Quellsystemdaten bereinigen und validieren können.
  • Fakten- und Dimensionslader zur Beschleunigung der Datenpopulation in einem Dimensionsmodell.

Auch hier müssen Sie nur auf logischer Ebene mit diesen Elementen interagieren. Astera Mit Data Warehouse Builder können Sie Tabellenspaltennamen, enthaltene Datentypen und Werte sowie das vorgeschriebene Layout für Zieltabellen vollständig konfigurieren, um die Datenzuordnung zu vereinfachen.

Bereitstellen und erneutes Bereitstellen von Datenmodellen in Minuten

Astera DW Builder unterstützt die iterative Entwicklung. Sobald Sie Ihre Datenmodelle eingerichtet haben, können Sie sie mit wenigen Klicks überprüfen und bereitstellen. Genauso einfach ist es jedoch, neue Quellen und Anforderungen in Ihre Architektur zu integrieren. Wenn Sie sich darauf verlassen können, dass Ihr IT-Team diese Bemühungen steuert, werden Sie lange darauf warten, dass Entwickler den Code verwenden, um ETL-Skripte Stück für Stück zu aktualisieren und zu testen.

mit Astera Mit DW Builder können Sie neue Entitäten hinzufügen oder vorhandene Entitäten im Datenmodell bearbeiten. Erstellen Sie die erforderliche Datenzuordnung, um sie in das Data Warehouse im Datenflussmodul zu bringen. Stellen Sie dann die neuen Daten für den Verbrauch bereit, indem Sie das Datenmodell einfach erneut bereitstellen.

Wir bieten integrierte Cloud-Integrationsfunktionen, mit denen Sie Ihr Data Warehouse mit nur wenigen Klicks in der Cloud bereitstellen können. Unabhängig davon, ob Sie Ihr BI in Azure Synapse oder Snowflake einrichten möchten, können wir Ihnen den Übergang problemlos erleichtern.

Gehen Sie agil mit Astera Data Warehouse Builder

Wir helfen Ihnen gerne dabei, jeden Schritt in Ihrem Data Warehouse-Entwicklungsprozess zu automatisieren und zu beschleunigen. Für einen vollständigen Überblick über unsere Features und Funktionen, KONTAKTIERE UNS und finden Sie heraus, welchen Wert wir für Ihr BI-Projekt bringen können. Möchten Sie mehr lesen? Sehen Sie sich hier diese umfassende Aufschlüsselung unserer metadatengesteuerten Architektur an.