Allgemeine Datenintegrationstechniken und -technologien erklärt

By |2022-03-04T16:05:09+00:00September 23rd, 2019|

Probleme bei der Kombination von Daten aus mehreren unterschiedlichen Quellen sind immer geblieben; daher entwarfen Wissenschaftler der University of Minnesota 1991 das erste Datenintegrationssystem. Diese Datenintegrationstechnik verwendete den ETL-Ansatz, der Daten aus mehreren Systemen und Quellen extrahiert, transformiert und in eine einheitliche Ansicht lädt.

In diesem Blog besprechen wir den Datenintegrationsprozess und die verschiedenen Datenintegration Techniken und Technologien.

Was ist Datenintegration?

Datenintegration erklärt (Quelle: Last Night Study)

Was ist Datenintegration?

Der Prozess der Konsolidierung von Daten aus mehreren Anwendungen und der Erstellung einer einheitlichen Ansicht von Datenbeständen wird als bezeichnet Datenintegration. Da Unternehmen Informationen in verschiedenen Datenbanken speichern, wird die Datenintegration zu einer wichtigen Strategie, da sie den Geschäftsanwendern hilft, Daten aus mehreren Quellen zu integrieren. Ein E-Commerce-Unternehmen möchte beispielsweise Kundeninformationen aus mehreren Datenströmen oder Datenbanken wie Marketing, Vertrieb und Finanzen extrahieren. In diesem Fall würde die Datenintegration helfen, die aus verschiedenen Abteilungsdatenbanken eingehenden Daten zu konsolidieren und für Berichte und Analysen zu verwenden.

Die Datenintegration ist eine Kernkomponente verschiedener unternehmenskritischer Datenverwaltungsprojekte, wie z. B. der Aufbau eines Enterprise Data Warehouse, die Migration von Daten von einer oder mehreren Datenbanken zu einer anderen und die Synchronisierung von Daten zwischen Anwendungen. Infolgedessen verwenden Unternehmen eine Vielzahl von Anwendungen, Technologien und Techniken zur Datenintegration Daten aus unterschiedlichen integrieren Quellen und erstellen Sie eine einzige Version der Wahrheit. Nachdem Sie nun den Datenintegrationsprozess verstanden haben, lassen Sie uns in die verschiedenen Datenintegrationsansätze, -techniken und -technologien eintauchen.

Arten von Datenintegrationstechniken

Datenintegrationsansätze entstehen, wenn Daten aus verschiedenen internen und externen Quellen eingehen. Dies wird erreicht, indem je nach Unterschiedlichkeit, Komplexität und Anzahl der beteiligten Datenquellen eine der drei verschiedenen Arten von Datenintegrationstechniken verwendet wird.

Sehen wir uns diese Datenintegrationsansätze nacheinander an und sehen wir uns an, wie sie zur Verbesserung von Geschäftsprozessen beitragen können.

Datenkonsolidierung

Wie der Name andeutet, Datenkonsolidierung ist der Prozess der Kombination von Daten aus verschiedenen Datenquellen, um ein zentralisiertes Datenrepository oder Datenspeicher zu erstellen. Dieser einheitliche Datenspeicher wird dann für verschiedene Zwecke verwendet, z. B. für Berichterstellung und Datenanalyse. Darüber hinaus kann es auch als Datenquelle für nachgelagerte Anwendungen dienen.

Einer der Schlüsselfaktoren, die die Datenkonsolidierung von anderen Datenintegrationstechniken unterscheiden, ist die Datenlatenz. Die Datenlatenz ist definiert als die Zeit, die zum Abrufen von Daten aus Datenquellen zur Übertragung an den Datenspeicher benötigt wird. Je kürzer die Latenzzeit ist, desto mehr Daten stehen im Datenspeicher für Business Intelligence und Analyse zur Verfügung.

Im Allgemeinen gibt es normalerweise eine gewisse Latenz zwischen dem Zeitpunkt, zu dem Aktualisierungen mit den in Quellsystemen gespeicherten Daten erfolgen, und dem Zeitpunkt, zu dem diese Aktualisierungen im Data Warehouse oder in der Datenquelle widergespiegelt werden. Abhängig von den verwendeten Datenintegrationstechnologien und den spezifischen Anforderungen des Unternehmens kann diese Latenz einige Sekunden, Stunden oder mehr betragen. Mit Fortschritten bei integrierten Big-Data-Technologien ist es jedoch möglich, Daten zu konsolidieren und Änderungen nahezu in Echtzeit oder in Echtzeit an das Ziel zu übertragen.

Datenföderation

Datenföderation ist eine Datenintegrationstechnik, die verwendet wird, um Daten zu konsolidieren und den Zugriff für konsumierende Benutzer und Front-End-Anwendungen zu vereinfachen. Bei der Data-Federation-Technik werden verteilte Daten mit unterschiedlichen Datenmodellen in eine virtuelle Datenbank integriert, die über ein einheitliches Datenmodell verfügt.

Es findet keine physische Datenbewegung hinter a statt eingebundene virtuelle Datenbank. Stattdessen wird eine Datenabstraktion durchgeführt, um eine einheitliche Benutzeroberfläche für den Datenzugriff und -abruf zu erstellen. Daher wird die Abfrage jedes Mal, wenn ein Benutzer oder eine Anwendung die föderierte virtuelle Datenbank abfragt, zerlegt und an die relevante zugrunde liegende Datenquelle gesendet. Mit anderen Worten, die Daten werden im Datenverbund auf Abrufbasis bereitgestellt, im Gegensatz zum Echtzeit-Datenintegrationsansatz, bei dem Daten integriert werden, um einen separaten zentralisierten Datenspeicher aufzubauen.

Datenweitergabe

Die Datenweitergabe ist eine weitere Technik zur Datenintegration, bei der Daten aus einem Enterprise Data Warehouse nach den erforderlichen Transformationen an verschiedene Data Marts übertragen werden. Da die Daten weiterhin im Data Warehouse aktualisiert werden, werden Änderungen synchron oder asynchron an den Quell-Datamart weitergegeben. Zu den beiden gängigen Datenintegrationstechnologien, die für die Datenweitergabe verwendet werden, gehören Enterprise Application Integration (EAI) und Enterprise Data Replication (EDR). Diese Datenintegrationstechnologien werden unten diskutiert.

Unterschiedliche Datenintegrationstechnologien

Die Datenintegrationstechnologie hat sich in den letzten zehn Jahren rasant weiterentwickelt. Ursprünglich war Extract, Transform, Load (ETL) die einzige verfügbare Technologie, die für den Batch-Datenintegrationsprozess verwendet wurde. Als Unternehmen jedoch weiterhin weitere Quellen zu ihrem Datenökosystem hinzufügten und der Bedarf an Echtzeit-Datenintegrationstechnologien entstand, wurden neue Fortschritte und Technologien eingeführt:

Hier finden Sie eine Zusammenfassung der heute am häufigsten verwendeten Datenintegrationstechnologien:

Extrahieren, Transformieren, Laden (ETL)

Die wohl bekannteste Datenintegrationstechnologie, ETL oder Extrahieren, transformieren, laden ist ein Datenintegrationsprozess, bei dem Daten aus einem Quellsystem extrahiert und nach der Transformation in ein Ziel geladen werden.

ETL wird hauptsächlich zur Datenkonsolidierung verwendet und kann in Stapeln oder nahezu in Echtzeit mithilfe von Change Data Capture (CDC) durchgeführt werden. Batch-ETL wird hauptsächlich für Massenbewegungen großer Datenmengen verwendet, beispielsweise während der Datenmigration. Andererseits ist der CDC eine geeignetere Wahl zum Übertragen von Änderungen oder aktualisierten Daten an das Zielziel.

Während des ETL-Prozesses werden Daten aus einer Datenbank, ERP-Lösung, Cloud-Anwendung oder einem Dateisystem extrahiert und in eine andere Datenbank oder ein Datenrepository übertragen. Die an den Daten durchgeführten Transformationen variieren je nach Anwendungsfall der Datenverwaltung. Zu den häufig durchgeführten Transformationen gehören jedoch Datenbereinigung, Qualität, Aggregation und Abgleich.

Integration von Unternehmensinformationen (EII)

Enterprise Information Integration (EII) ist eine Datenintegrationstechnologie, die verwendet wird, um kuratierte Datensätze nach Bedarf bereitzustellen. EII wird auch als eine Art Datenföderationstechnologie angesehen und umfasst die Erstellung einer virtuellen Ebene oder einer Geschäftsansicht der zugrunde liegenden Datenquellen. Diese Schicht schützt die verbrauchenden Anwendungen und Geschäftsbenutzer vor der Komplexität der Verbindung zu unterschiedlichen Quellsystemen mit unterschiedlichen Formaten, Schnittstellen und Semantiken. Mit anderen Worten, EII ist ein Datenintegrationsansatz, der es Entwicklern und Geschäftsanwendern gleichermaßen ermöglicht, eine Reihe von Datenquellen so zu behandeln, als wären sie eine einzige Datenbank, und die eingehenden Daten auf neue Weise darzustellen.

Im Gegensatz zu Batch-ETL EII kann die Datenintegration in Echtzeit problemlos handhaben und Anwendungsfälle für die Bereitstellung, die es Geschäftsanwendern ermöglichen, aktuelle Daten für die Datenanalyse und Berichterstellung zu verwenden.

Enterprise Data Replication (EDR)

Enterprise Data Replication (EDR) wird als Datenverbreitungstechnik verwendet und ist eine Echtzeit-Datenkonsolidierungsmethode, bei der Daten von einem Speichersystem auf ein anderes verschoben werden. In seiner einfachsten Form besteht EDR darin, einen Datensatz von einer Datenbank in eine andere Datenbank mit demselben Schema zu verschieben. In letzter Zeit ist der Prozess jedoch komplexer geworden, da er unterschiedliche Quell- und Zieldatenbanken einbezieht, wobei Daten je nach den Anforderungen des Unternehmens in regelmäßigen Abständen, in Echtzeit oder sporadisch repliziert werden.

Während beide EDR und ETL Massenbewegungen von Daten beinhalten, ist EDR anders, da es keine Datentransformation oder -manipulation beinhaltet.

Zusätzlich zu diesen drei wichtigen Datenintegrationstechnologien verwenden Unternehmen mit komplexen Datenverwaltungsarchitekturen auch Enterprise Application Integration (EAI), Datenerfassung ändern (CDC)und andere ereignisbasierte und Echtzeit-Technologien, um mit den Datenanforderungen ihrer Geschäftsbenutzer Schritt zu halten.

Möchten Sie eine automatisierte Datenintegrationsplattform für Ihr Unternehmen implementieren? Erfahren Sie im Detail, wie Astera Wenn Sie diese Datenintegrationstechniken nutzen und ein agiles Datenökosystem erstellen möchten, wenden Sie sich an unsere Supportabteilung unter Kundendienst@astera.com €XNUMX und finden Sie heraus, welcher Datenintegrationsansatz für Ihren Anwendungsfall geeignet ist, oder Laden Sie eine kostenlose Testversion von herunter Centerprise und gleich loslegen!

Verwandte Artikel

Wie funktioniert Astera Centerprise Verbessern Sie die Chancen eines erfolgreichen Projekts ...

Es kann eine Herausforderung sein, sich durch die unsichere Geschäftslandschaft von heute zu manövrieren. Schließlich müssen moderne Organisationen Schritt halten...
Mehr Infos or weiterlesen

Geschäftsfunktionen mit einer Datenintegrationssoftware optimieren

Unternehmen übernehmen zunehmend eine datengesteuerte Kultur. Der deutliche Anstieg des Volumens der ausgetauschten Daten deutet darauf hin, dass die...
Mehr Infos or weiterlesen

So wählen Sie die besten Datenintegrationstools für Unternehmen aus

Wenn Qualitätsdaten für geschäftliche Erkenntnisse und Datenanalysen verwendet werden, erzielen Unternehmen bessere Einnahmen. Extrahieren Sie diese Erkenntnisse aus hoch...
Mehr Infos or weiterlesen