Datenvirtualisierung: Architektur, Tools und Funktionen erklärt

By |2021-05-10T12:51:24+00:0030. Juli 2020|

Aufgrund ihrer weit verbreiteten Geschäftstätigkeit greifen Unternehmen auf verschiedene Arten von Systemen zurück, die heterogene Daten verwalten. Diese Systeme sind über eine engmaschige Dateninfrastruktur miteinander verbunden, die aus Datenbanken, Data Warehouses, Marts und Seen besteht und wichtige verständliche Erkenntnisse speichert. Um die Datenübertragung zu erleichtern und geschäftliche Erkenntnisse zu gewinnen, müssen jedoch unzählige Datenverwaltungstechnologien verwendet werden, deren Erlernen und Verwalten komplex sein kann. Hier kommen Tools zur Datenvirtualisierung ins Spiel.

Lassen Sie uns die Datenvirtualisierungstechnologie untersuchen und herausfinden, wie Unternehmen die Betriebsfähigkeiten ihrer umfassenden Dateninfrastruktur maximieren können.

Was ist Datenvirtualisierung?

Die Datenvirtualisierung (DV) erstellt eine Abstraktionsschicht, die Daten aus verschiedenen Quellen einbringt, ohne die gesamte Leistung zu erbringen Extrahieren-Transformieren-Laden (ETL) oder Erstellen einer separaten integrierten Plattform zum Anzeigen von Daten. Stattdessen stellt es eine virtuelle Verbindung zu verschiedenen Datenbanken her, integriert alle Informationen, um virtuelle Ansichten bereitzustellen, und veröffentlicht sie als Datendienst wie REST. Dies verbessert den Datenzugriff und macht bestimmte Informationen für Berichte, Analysen und Entscheidungen verfügbar.

Durch Erstellen einer Abstraktionsschicht werden Daten Virtualisierungs-Tools Stellen Sie Benutzern nur die erforderlichen Daten zur Verfügung, ohne dass technische Details zum Speicherort oder zur Struktur der Datenquelle erforderlich sind. Infolgedessen können Organisationen den Datenzugriff nur auf autorisierte Benutzer beschränken, um die Sicherheit zu gewährleisten und die Anforderungen an die Datenverwaltung zu erfüllen.

Die Datenvirtualisierungstechnologie vereinfacht wichtige Prozesse wie Datenintegration, Verbund und Transformation und macht Daten für Dashboards, Portale, Anwendungen und andere Front-End-Lösungen zugänglich. Darüber hinaus können Unternehmen durch Komprimieren oder Deduplizieren von Daten über Speichersysteme hinweg ihre Infrastrukturanforderungen effizienter erfüllen, was zu erheblichen Kosteneinsparungen führt.

Datenvirtualisierungsarchitektur

Die Datenvirtualisierung wird verwendet, um große Datenmengen aus verschiedenen Quellen zu verarbeiten. Die Datenvirtualisierungsarchitektur zeigt jedoch, dass die Integration von Datenquellen mithilfe einer logischen Schicht weitaus effektiver ist als die Erfassung von Rohdaten auf einem einzelnen Datensee.

Datenvirtualisierung

Datenvirtualisierungsarchitektur erklärt

Datenvirtualisierungstools integrieren Daten aus heterogenen Datenquellen, anstatt sie direkt zu extrahieren und auf eine einzige Plattform wie Enterprise Service Bus (ESB), Extract-Transform-Load (ETL) und andere Middleware-Anwendungen zu laden. Bei ordnungsgemäßer Verwendung kann ein Datenvirtualisierungstool als integraler Bestandteil von dienen Datenintegrationsstrategie. Es bietet mehr Flexibilität beim Datenzugriff, begrenzt die Anzahl der Datensilos und automatisiert die Abfrageausführung für schnellere Einblicke. 

Was ist die Datenvirtualisierungsschicht? Wie funktioniert es?

Eine wichtige Komponente der Datenvirtualisierungsarchitektur ist die Datenvirtualisierungsschicht. Was ist also eine Datenvirtualisierungsschicht?

Die Datenvirtualisierung ist eine logische Datenschicht zur Integration von Unternehmensdaten, die über unterschiedliche Datenquellen hinweg verfügbar sind. Die Datenvirtualisierungsschicht konsolidiert Daten zu einer einzigen zentralisierten Schicht, indem ein repliziertes Image erstellt wird. Auf diese Weise kann der Benutzer die Quelldaten ändern, ohne darauf zuzugreifen. Dies ermöglicht den Echtzeit-Datenzugriff für Geschäftsvorgänge, während die Quelldaten sicher bleiben.

Unternehmen machen Datenvirtualisierungssoftware heutzutage zu einem integralen Bestandteil ihres Ansatzes für das Datenmanagement, da sie die Ergänzung von Prozessen wie Data Warehousing ermöglicht. Datenaufbereitung, Datenqualitätsmanagement und Datenintegration.

Datenvirtualisierung vs Data Warehouse

Mithilfe der Datenvirtualisierung können Benutzer Daten aus mehreren Quellen integrieren. Auf diese Weise können Benutzer Dashboards und Berichte für den Geschäftswert erstellen. Dieser Ansatz ist eine Alternative zum Data Warehouse, bei dem die Daten aus verschiedenen Quellen erfasst und ein Duplikat der Daten in einem neuen Datenspeicher gespeichert werden. Der Hauptvorteil der Datenvirtualisierung gegenüber Data Warehousing ist die Geschwindigkeitsoptimierung: Die Erstellung einer Lösung dauert nur einen Bruchteil der Zeit.

Die drei wichtigsten Tools für die Datenvirtualisierung lauten wie folgt:

Datenvirtualisierung vs ETL

Obwohl data virtualization und ETL sind zwei verschiedene Lösungen, die als komplementäre Technologien betrachtet werden. Als ETL / EDW kann die Bereitstellung durch Verwendung einer Datenvirtualisierungstechnologie verbessert werden. Die beiden Hauptunterschiede zwischen Datenvirtualisierung und ETL sind jedoch:

  1. ETL dupliziert die Daten aus dem Quellsystem und speichert sie in einem anderen kopierten Datenspeicher Die Virtualisierung greift nicht auf die Quelldaten ein und delegiert die Anforderung einfach an die Quellsysteme. 
  2. Ein typisches ETL / EDW-Projekt erfordert mehrere Monate dedizierter Planung und Datenmodellierung, bevor Daten in einem Data Warehouse konsolidiert werden. Nach der Bereitstellung ist es schwierig, Änderungen vorzunehmen. Während dEine Virtualisierung ist ein agiler Ansatz, wenn es um Änderungen im logischen Datenmodell geht. Es ermöglicht auch schnelle Entwicklungsiterationen. 

Datenvirtualisierungsanwendungen für Unternehmen

Unternehmen können die Datenvirtualisierungstechnologie verwenden, um ihre Systeme und Abläufe auf verschiedene Weise zu optimieren, z. B.:

  • Datenlieferung: Sie können damit Datensätze (von Benutzern angefordert oder über eine Clientanwendung generiert) als Datenservices oder Geschäftsdatensichten veröffentlichen.
  • Datenföderation: Es arbeitet mit der Datenverbundsoftware zusammen, um integrierte Ansichten von Datenquellen aus unterschiedlichen Datenbanken bereitzustellen.
  • Datenumwandlung: Benutzer können die Transformationslogik auf die Präsentationsebene anwenden und so die Gesamtqualität der Daten verbessern.
  • Datenverschiebung und Replikation: Tools für die Datenvirtualisierung kopieren oder verschieben keine Daten vom primären System oder Speicherort, sodass Benutzer keine Extraktionsprozesse ausführen und nicht konsistente, veraltete Daten nicht mehrfach kopieren können.
  • Virtualisierter Datenzugriff: Sie können Datenspeicher aufteilen, indem Sie einen logischen Datenzugriffspunkt für unterschiedliche Quellen einrichten.
  • Abstraktion: Es erstellt eine Abstraktionsebene, in der die technischen Aspekte der Daten wie Speichertechnologie, Systemsprache, APIs, Speicherstruktur und Speicherort ausgeblendet werden.

Da Datenvirtualisierungssoftware umfassende Funktionen bietet, hat sie sich für Verwaltungs-, Betriebs- und Entwicklungszwecke als nützlich erwiesen.

Vorteile der Datenvirtualisierung

Gemäß GartnerBis 2020 werden rund 35 Prozent der Unternehmen die Datenvirtualisierung zu einem Teil ihrer Datenintegrationsstrategie machen. Aus diesem Grund entscheiden sich Unternehmen zunehmend für Datenvirtualisierungstools mit folgenden Vorteilen:

  • Multi-Mode- und Multi-Source-DatenzugriffDies macht es Benutzern auf verschiedenen Ebenen leicht, Daten gemäß ihren Anforderungen zu verwenden
  • Verbesserte Sicherheit und Datenverwaltung um kritische Daten vor unbefugten Benutzern zu schützen
  • Verbergen der Komplexität der zugrunde liegenden Datenquellen, während die Daten so dargestellt werden, als ob sie aus einer einzelnen Datenbank oder einem einzelnen System stammen
  • Beweglichkeit der InformationenDies ist ein integraler Bestandteil des Geschäftsumfelds, da Daten für eine schnelle Entscheidungsfindung verfügbar sind
  • Infrastrukturunabhängige PlattformDa Daten aus einer Vielzahl von Datenbanken und Systemen einfach integriert werden können, reduzieren sich die Betriebskosten und die Datenredundanz
  • Vereinfachte Tabellenstruktur, die die Anwendungsentwicklung rationalisieren und die Anwendungswartung reduzieren können
  • Einfache Integration neuer Cloud-Quellen in vorhandene IT-Systeme einfach Benutzer können ein vollständiges Bild von externen und internen Informationen erhalten
  • Hybride Abfrageoptimierung So können Sie Abfragen für geplante Push-, Demand-Pull- und andere Arten von Datenanforderungen optimieren
  • Schnellere Markteinführung, Es verkürzt die Zeit, die benötigt wird, um Daten zu erhalten, um neue oder bestehende Produkte oder Dienstleistungen zu verbessern, um die Anforderungen der Verbraucher zu erfüllen

Weitere Vorteile von Datenvirtualisierungstools sind Kosteneinsparungen aufgrund geringerer Hardwareanforderungen und geringerer Betriebs- und Wartungskosten im Zusammenhang mit der Durchführung ETL-Prozesse zum Auffüllen und Verwalten von Datenbanken.

Darüber hinaus speichern Datenvirtualisierungstools Metadateninformationen und erstellen wiederverwendbare virtuelle Datenschichten, sodass Sie eine verbesserte Datenqualität und eine verringerte Datenlatenz erleben können.

Beispiele und Anwendungsfall für die Datenvirtualisierung

Gemäß ForresterDatenvirtualisierungssoftware ist zu einem entscheidenden Aktivposten für jedes Unternehmen geworden, das die wachsenden Datenherausforderungen bewältigen möchte. Mit Innovationen wie Abfrage-Pushdown, Abfrageoptimierung, Caching, Prozessautomatisierung, Datenkatalog und anderen macht die Datenvirtualisierungstechnologie Fortschritte bei der Behebung einer Vielzahl von Problemen bei der Datenintegration aus mehreren Quellen.

Im Folgenden finden Sie einige Anwendungsfälle und Anwendungen für die Datenbankvirtualisierung, die zeigen, wie sie Unternehmen bei der Bewältigung der Herausforderungen beim Stammdatenmanagement unterstützen:

1. Verbessert die Funktionalität von Logical Data Warehouse

Datenvirtualisierung dient als Treibstoff für logische Data Warehouse-Architektur. Die Technologie ermöglicht die Zusammenfassung von Abfragen in traditionellen und modernen Unternehmensdatenrepositorys und Software-Dienstprogrammen wie Data Warehouses, Data Lakes, Webdiensten, Hadoop, NoSQL usw., sodass sie den Benutzern so erscheinen, als ob sie von einer einzigen Datenbank / einem einzigen Speicherort stammen .

In einer logischen Data Warehouse-Architektur können Sie mit der Datenvirtualisierung einen einzigen logischen Ort für die Erfassung von Analysedaten erstellen, unabhängig von der Anwendung oder der Quelle. Es ermöglicht eine schnelle Datenübertragung über verschiedene häufig verwendete Protokolle und APIs wie REST, JDBC, ODBC und andere. Außerdem können Sie Workloads automatisch zuweisen, um die Einhaltung der Service Level Agreement (SLA) -Anforderungen sicherzustellen.

2. Behandelt die Komplexität von Big Data Analytics

Mithilfe der Big-Data-Virtualisierung können Unternehmen mithilfe prädiktiver, kognitiver, Echtzeit- und historischer Formen der Big-Data-Analyse einen Wettbewerbsvorteil erzielen. Aufgrund des zunehmenden Datenvolumens und der zunehmenden Komplexität müssen Unternehmen jedoch eine breite Palette von Technologien wie Hadoop-Systeme, Data Warehouses, Echtzeit-Analyseplattformen und andere einsetzen, um die sich bietenden Möglichkeiten nutzen zu können.

Durch Datenverbund und -abstraktion können Sie logische Ansichten von Daten erstellen, die sich in unterschiedlichen Quellen befinden, sodass Sie die abgeleiteten Daten schneller für erweiterte Analysen verwenden können. Darüber hinaus ermöglichen Big Data-Virtualisierungstools eine einfache Integration in Ihr Data Warehouse, Business Intelligence-Tools und andere Analyseplattformen in Ihre Unternehmensdateninfrastruktur, um die Flexibilität der Informationen zu gewährleisten.

 3. Erleichtert den Zugriff auf Anwendungsdaten

Systeme und Anwendungen benötigen Daten, um Erkenntnisse zu gewinnen, die für die Entscheidungsfindung erforderlich sind. Eine große Herausforderung bei der Arbeit mit Anwendungen ist jedoch der Zugriff auf verteilte Datentypen und -quellen. Darüber hinaus müssen Sie möglicherweise erweiterte Codezeilen schreiben, um die gemeinsame Nutzung von Datenbeständen zwischen Systemen und Anwendungen zu erleichtern. Einige Operationen erfordern möglicherweise auch komplexe Transformationen, die nur mit speziellen Techniken oder Werkzeugen erreichbar sind.

Wenn sich beispielsweise zwei Datasets in IBM DB2 und PostgreSQL befinden, ordnet das Tool den Zieldatenbanken zu, führt automatisch separate Abfragen (für jede Datenbank) aus, um die erforderlichen Daten abzurufen, und fasst sie zu einer einzigen integrierten Plattform zusammen virtuelle Ansichten durch eine semantische Präsentationsschicht. Außerdem werden Verknüpfungen, Filter oder andere Transformationen auf der kanonischen Ebene ausgeführt, um die Daten im gewünschten Format darzustellen.

 4. Optimiert das Enterprise Data Warehouse (EDW)

Data Warehouses spielen eine entscheidende Rolle, wenn es darum geht, Unternehmen bei der Verarbeitung großer Datenmengen aus mehreren Quellen zu unterstützen und diese für Abfragen und Analysen vorzubereiten. Während ETL und andere traditionelle Methoden zur Datenintegration Sind für das Verschieben von Massendaten gut, müssen Benutzer mit veralteten Daten der letzten ETL-Operation arbeiten. Außerdem ist das Verschieben großer Datenmengen (in Petabyte und Zettabyte) zeitaufwändig und erfordert fortgeschrittene, leistungsfähigere Hardware und Software.

Die Datenvirtualisierung rationalisiert den Datenintegrationsprozess. Es verwendet einen Verbundmechanismus, um Daten aus verschiedenen Datenbanken zu homogenisieren und eine einzige integrierte Plattform zu erstellen, die für die Benutzer zu einem einzigen Zugangspunkt wird. Es bietet On-Demand-Integration und liefert Echtzeitdaten für Berichte und Analysen.

Holen Sie sich ein Data Warehousing-Tool für Ihr Unternehmen

Unabhängig davon, ob Sie ein On-Premise- oder Cloud-Data-Warehouse erstellen, entwerfen oder bereitstellen möchten, Astera DW-Builder kann dies für Sie in einer Umgebung ohne Code tun. Über 300 Kunden aus über 30 Branchen vertrauen darauf. Astera bietet eine codefreie Datenvirtualisierungslösung zum Integrieren, Bereinigen und Transformieren von Daten aus verschiedenen Quellen und stellt sie für genaue Datenberichte und -analysen zur Verfügung.