Verstehen von Tools, Prozessen und Techniken zur Datenzuordnung

By |2022-04-20T02:51:10+00:00Dezember 10th, 2018|

Unternehmensdaten werden von Tag zu Tag verteilter und umfangreicher. Gleichzeitig ist es für Unternehmen wichtiger denn je, Daten zu nutzen und in umsetzbare Erkenntnisse umzuwandeln. Unternehmen sammeln heute jedoch Informationen aus verschiedenen Datenpunkten, und sie sprechen möglicherweise nicht immer dieselbe Sprache. Die Datenzuordnungsprozess wird verwendet, um alle unterschiedlichen Datenquellen zu integrieren und automatisierte Datenpipelines zu erstellen, um verteilte Daten zu verstehen. Und dafür brauchen Sie ein effizientes Datenmapping-Tool.

In diesem Artikel erfährst du:

Was ist Data Mapping? 

Dabei werden Datenfelder aus einer oder mehreren Quelldateien extrahiert und mit den zugehörigen Zielfeldern im Ziel abgeglichen. Die Datenzuordnung hilft auch bei der Konsolidierung von Daten, indem sie extrahiert, transformiert und in ein Zielsystem geladen werden. Es ist der erste Schritt jedes Datenprozesses, einschließlich ETL. Unternehmen können Daten abbilden und transformieren, um relevante Erkenntnisse zur Verbesserung der Unternehmenseffizienz zu gewinnen.

Während des Datenzuordnungsprozesses werden die Quelldaten an die Zieldatenbank geleitet. Die Zieldatenbank kann eine relationale Datenbank oder ein CSV-Dokument sein – je nach Anwendungsfall. In den meisten Fällen verwenden Unternehmen eine Datenzuordnungsvorlage, um Felder von einem Datenbanksystem mit dem anderen abzugleichen.

Hier ist ein Beispiel für eine Datenzuordnungsvorlage, um zu verdeutlichen, wie der Zuordnungsprozess von einer Excel-Quelle aus funktioniert. In Abbildung 1 werden die Felder „Name“, „E-Mail“ und „Telefon“ aus einer Excel-Quelle den entsprechenden Feldern in einer Datei mit Trennzeichen zugeordnet, die unser Ziel ist.

Beispiel für ein Datenmapping-Tool

Zuordnung von Quelle zu Ziel in Astera Centerprise Verwenden einer grafischen Datenzuordnungs-Benutzeroberfläche

Die Integrationsaufgaben der Quell-zu-Ziel-Zuordnung sind unterschiedlich komplex. Die Komplexität hängt von der Datenhierarchie und der Disparität zwischen der Datenstruktur von Quelle und Ziel ab. Ob On-Premise oder Cloud, jede Geschäftsanwendung verwendet Metadaten, um die Datenfelder und Attribute zu erklären, die die Daten und semantischen Regeln bilden. Diese Regeln regeln, wie Daten in dieser Anwendung oder diesem Repository gespeichert werden. Ziel ist es, einen nahtlosen Transferprozess von der Quelle zum Ziel ohne Datenverlust zu gewährleisten.

Zum Beispiel, Microsoft Dynamics CRM enthält mehrere Datensätze, die aus verschiedenen Objekten bestehen, z. B. Leads, Opportunities und Wettbewerber. Jeder dieser Datensätze hat mehrere Felder wie Name, Kontoinhaber, Stadt, Land, Berufsbezeichnung und mehr. Die Anwendung hat auch ein definiertes Schema zusammen mit Attributen, Aufzählungen und Zuordnungsregeln. Wenn dem Schema eines Datenobjekts ein neuer Datensatz hinzugefügt werden soll, muss daher eine Datenzuordnung von den Quellfeldern zum Microsoft Dynamics CRM-Konto erstellt werden.

Datenmapping wird in einer Reihe von Anwendungsfällen und Branchen eingesetzt, um Datenprozesse zu rationalisieren. Zum Beispiel im Healthcare-Industriehilft Source-to-Target-Mapping dabei, die Interoperabilität für EHR (elektronische Gesundheitsakte) zu erreichen, indem die Daten zwischen einer Quelle und einem Ziel abgeglichen werden. Es hilft auch medizinischen Fachkräften, wichtige Patienteninformationen auszutauschen und Gesundheitsdaten aus verschiedenen Datenbanken, Datenquellen und Systemen wie EHR und EMR zu kombinieren. Die abgebildeten Daten werden weiter für andere kritische Prozesse verwendet, wie z. B. Datenmigration und Datenintegration.

 

Datenzuordnung in Aktion

Das Mapping kann je nach Anzahl, Datentypen, Schema, Primärschlüsseln und Fremdschlüsseln der Datenquellen unterschiedlich komplex sein. Beispielsweise werden im folgenden Beispiel einer Datenbankzuordnung Daten aus drei verschiedenen Datenbanktabellen, Lead, Lead-Historie und Lead-Status wird verbunden und die Datenzuordnung in SQL Server wird zu einem Excel-Ziel ausgeführt.

Beispiel für eine Datenzuordnung, die in einer Datenzuordnungslösung ausgeführt wird

Die ETL-Mapping-Funktion von Astera Centerprise data integrator in Aktion

Die Datenbankzuordnung wird verwendet, um eine Reihe von Datenintegrations- und -umwandlungsaufgaben auszuführen, abhängig von den Datenverwaltungsanforderungen eines Unternehmens und den Fähigkeiten des Datenzuordnungstools. Gängige bekannte Anwendungsfälle für das Mapping von Geschäftsdaten umfassen das Datenbankschema-Mapping für die Vorintegration, die Datenbereinigung aus unterschiedlichen Datenspeichern und die Datenkonvertierung aus Legacy-Systemen.

Vor Beginn des Datenmapping-Prozesses müssen Produktionsteams sicherstellen, dass ihnen alle Informationen aller beteiligten Stakeholder zur Verfügung stehen. Wenn sensible Informationen separat zugeordnet werden müssen, sollten sie vor Beginn des Prozesses informiert werden. In den meisten Fällen fügen sie Datenqualitätsprüfungen hinzu, um das Risiko von Datenlecks oder Sabotage der Zugriffskontrolle zu minimieren.

Gemeinsame Techniken

Es gibt drei Hauptdatenzuordnungstechniken:

  1. Manuelle Datenzuordnung: Es erfordert, dass IT-Experten die Datenquelle manuell codieren oder dem Zielschema manuell zuordnen.
  2. Schemazuordnung: Es ist eine halbautomatische Strategie. Eine Datenzuordnungslösung stellt eine Beziehung zwischen einer Datenquelle und dem Zielschema her. IT-Experten prüfen die Verbindungen des Schema-Mapping-Tools und nehmen gegebenenfalls Anpassungen vor.
  3. Vollautomatische Datenzuordnung: Die bequemste, einfachste und effizienteste Datenzuordnungstechnik verwendet eine codefreie Drag-and-Drop-Benutzeroberfläche für die Datenzuordnung. Auch technisch nicht versierte Benutzer können mit wenigen Klicks Mapping-Aufgaben durchführen.

Anwendungsfälle für die Datenzuordnung

Mapping ermöglicht es Unternehmen, Geschäftswert aus Daten zu extrahieren, da die aus verschiedenen externen und internen Quellen gesammelten Informationen vereinheitlicht und in ein für die betrieblichen und analytischen Prozesse geeignetes Format umgewandelt werden müssen. Hier sind einige Anwendungsfälle, in denen der Mapping-Prozess weit verbreitet ist:

Datenintegration

Für eine erfolgreiche Integration müssen Quell- und Zieldaten-Repository dieselbe Struktur aufweisen, was selten vorkommt. Datenmapping-Tools helfen, die Unterschiede in den Schemas von Quell- und Zielsystemen durch Datentransformation und -konvertierung zu überbrücken. Dies ermöglicht es Unternehmen, Informationen aus verschiedenen Datenpunkten effizient zu konsolidieren. Aus diesem Grund enthalten auf dem Markt erhältliche Datenintegrationstools die codefreie Mapping-Funktion.

Datenmigration

Datenmigration ist der Prozess des Verschiebens von Daten von einer Datenbank in eine andere, der mit einem Datenbank-Mapping-Tool reibungslos durchgeführt werden kann. Obwohl der Prozess verschiedene Schritte umfasst, ist das Erstellen von Mappings zwischen Quelle und Ziel eine der komplexesten und zeitaufwendigsten Aufgaben, insbesondere wenn sie manuell durchgeführt wird. Ungenaue und ungültige Zuordnungen in dieser Phase können die Genauigkeit und Vollständigkeit der Daten beeinträchtigen und zum Scheitern des Datenmigrationsprojekts führen. Codefreie Datenbank-Mapping-Software mit Automatisierungsfunktionen ist eine sicherere Alternative für die erfolgreiche Migration von Daten an ein beliebiges Ziel, beispielsweise ein Data Warehouse.

Datenumwandlung

Da sich Unternehmensdaten an verschiedenen Orten und Formaten befinden, ist die Datenzuordnung und Datenumwandlung sind unerlässlich, um Informationssilos zu durchbrechen und Erkenntnisse zu gewinnen. Das Mapping ist der erste Schritt im Datentransformationsprozess, der Daten in einen Staging-Bereich bringt, um sie in das gewünschte Format zu konvertieren. Nach der Transformation wird es dann an das endgültige Ziel, die Datenbank, verschoben.

Elektronischer Datenaustausch (EDI) Austausch

Die Datenzuordnung spielt eine wichtige Rolle bei der Konvertierung von EDI-Dateien, indem die Dateien in verschiedene Formate wie XML, JSON und Excel konvertiert werden. Ein intuitives Datenmapping-Tool ermöglicht es dem Benutzer, Daten aus verschiedenen Quellen zu extrahieren und integrierte Transformationen und Funktionen zu verwenden, um Daten zuzuordnen EDI-Formate ohne eine einzige Codezeile zu schreiben. Es hilft, einen nahtlosen B2B-Datenaustausch durchzuführen.

Arten von Datenmapping-Software

Auf dem Markt sind verschiedene Arten von Tools für die Datenzuordnung erhältlich, die den Prozess vereinfachen. Sie können in drei große Typen eingeteilt werden:

On-Premise-Tools

On-Premise-Datenzuordnungstools werden auf dem Server eines Unternehmens gehostet und verwenden eine native Computerinfrastruktur. Viele On-Premise-Tools eliminieren die Notwendigkeit der manuellen Codierung, um komplexe Mappings zu erstellen und sich wiederholende Aufgaben im Datenprozess zu automatisieren.

Cloudbasierte Tools

Diese Tools werden in der Cloud gehostet und können über einen Webbrowser aufgerufen werden. Cloudbasierte Datenzuordnungstools verfügen auch über Automatisierungsfunktionen, die den Zuordnungsprozess vereinfachen können.

Open-Source-Tools

Open-Source-Datenzuordnungstools bieten eine kostengünstige Alternative zu lokaler Datenzuordnungssoftware. Diese grafischen Tools für die Datenzuordnung eignen sich besser für kleine Unternehmen mit geringerem Datenvolumen und einfacheren Anwendungsfällen.

Wie finde ich die richtige Datenmapping-Software?

Die Auswahl einer Datenmapping-Software ist entscheidend für den Erfolg jedes Datenintegrations-, Transformations- und Lagerhaltungsprojekts. Der Prozess umfasst die Identifizierung des einzigartigen Geschäftsanwendungsfalls und der unverzichtbaren Funktionen.

Der Schlüssel zur Auswahl der richtigen Software für Ihre Bedürfnisse ist die Recherche. Online-Bewertungen auf Websites wie Capterra, G2 Mengeund Software Tipps kann ein guter Ausgangspunkt sein, um Ihre Auswahl in die engere Wahl zu ziehen. Zu den wichtigsten Funktionen, die Sie sich von einem automatisierten Datenmapping-Tool wünschen würden, gehören:

  • Unterstützung für ein vielfältiges System zur Zuordnung von Quelle zu Ziel: Konnektivität auf eine Reihe von strukturierten, unstrukturierten und halbstrukturierten Datenquellen, einschließlich Datenbanken, Webservices und Flatfile-Formaten, wie Trennzeichen und CSV, ist die Grundausstattung aller Tools zur Informationszuordnung und Datenmodellierung.
  • Grafische, Drag-and-Drop-Benutzeroberfläche ohne Code: Eine codefreie Umgebung zum Erstellen von Mappings und eine grafische Drag-and-Drop-Benutzeroberfläche zum Verarbeiten von Daten mithilfe integrierter Transformationen.
  • Möglichkeit, Jobs zu planen und zu automatisieren: Die Fähigkeit, ein komplettes Arbeitsablauf. Die Verwendung von zeit- und ereignisgesteuerter Jobplanung ist eine wertvolle Funktion in einem Tool. Diese Automatisierung reduziert die manuelle Arbeit, verbessert die Produktivität und spart Zeit.
  • Sofortige Vorschaufunktion für Echtzeittests: Intuitive Funktionen wie Instant Data Preview helfen, Fehler bei der Anwendungszuordnung zur Entwurfszeit zu vermeiden. Diese Funktionalität ermöglicht es dem Benutzer, die verarbeiteten und Rohdaten in jedem Schritt des Datenprozesses anzuzeigen.
  • SmartMatch-Datenkonvertierungszuordnung zur Lösung von Namenskonflikten: Synonymgesteuertes Lesen von Dateien um Diskrepanzen in Feldnamen und Geschäftsdatenherkunftsfunktion zu beheben, um die Herausforderungen von Namenskonflikten zu bewältigen. Dies kann durch die Definition von Synonymen für ein Wort im Synonymwörterbuch eines bestimmten Projekts erfolgen.

Introducing... Astera Centerprise – Eine Datenzuordnungslösung der Enterprise-Klasse für Unternehmen

Entwickelt, um Entwicklern und Geschäftsanwendern das gleiche Maß an Benutzerfreundlichkeit und Leistung zu bieten Astera Centerprise ist eine vollständige Datenverwaltungslösung, die von mehreren verwendet wird Fortune 1000 Unternehmen. Mit einer industrietauglichen ETL-Engine, Data-Warehousing-Funktionalität, Unterstützung für die Workflow-Automatisierung, sofort einsatzbereiter Konnektivität zu einer Reihe von Datenquellen, einer grafischen Benutzeroberfläche per Drag-and-Drop und einer vollständig codefreien Umgebung, Astera Centerprise automatisiert die gesamte Datenreise, von der Extraktion bis zum Laden.

Laden Sie eine kostenlose 14-Testversion herunter und erfahren Sie, wie Sie Datenzuordnungen von Quelle zu Ziel erstellen, ohne eine einzige Codezeile mit zu schreiben Astera Centerprise.

Soll ich eine Unternehmensintegrationslösung kaufen oder erstellen?

Hilf mir zu entscheiden

Verwandte Artikel

ETL: Was es bedeutet und warum ist es wichtig?

IDC prognostiziert, dass die Summe der globalen Daten bis 33 von 175 Zettabyte auf 2025 Zettabyte anwachsen wird. Diese enorme...
Mehr Infos or weiterlesen

Unkonventionelle Datenquellen, unterstützt von Astera Centerprise

Unternehmen müssen Daten nutzen, die aus verschiedenen Datenquellen eingehen, von Kundenfeedback-Formularen bis hin zu verschiedenen digitalen Marketing-...
Mehr Infos or weiterlesen

Datenmigrationssoftware – das Warum, das Was und die...

Da Daten unterschiedlicher Formate aus verschiedenen Systemen einfließen, kann es sein, dass das bestehende System ein Upgrade auf ein größeres...
Mehr Infos or weiterlesen