Change Data Capture-Technologie2024-02-06T03:41:28+00:00

Überblick

Data Warehouses wurden ursprünglich so gebaut, dass sie jährlich, monatlich oder wöchentlich aktualisiert werden. In der heutigen Geschäftsumgebung können Unternehmen nicht länger darauf warten, dass Daten in Back-End-Datenspeicher gelangen. Sie müssen Daten direkt aus den wichtigsten Transaktionssystemen erfassen, während sie erfasst werden. Change Data Capture (CDC) ist eine Reihe von Software-Entwurfsmustern, mit denen geänderte Daten ermittelt und verfolgt werden, sodass mit den geänderten Daten unverzüglich Maßnahmen ergriffen werden können.

AsteraDie Datenverwaltungssuite von Data unterstützt eine Vielzahl von Strategien zur Erfassung von Änderungsdaten, sowohl in Batch- als auch in Echtzeit. So kann ein Unternehmen eine Aktualisierungsstrategie auswählen, die die übergeordneten Datenintegrationsprozesse optimiert. Dies ist besonders wichtig, wenn Daten aus Produktionsdatenbanken in ein Analytics Data Warehouse kopiert werden müssen, ohne den regulären Datenfluss zu stören. Dies ist der Fall, wenn Benutzer gezwungen sind, auf Stapelläufe zu warten. CDC (Change Data Capture) optimiert moderne Analysen, indem ereignisgesteuerte Daten genutzt und die Datenintegration agiler gestaltet werden, um die betriebliche Effizienz zu steigern.

So funktioniert Change Data Capture

Mit der Change Data Capture-Technologie können Benutzer die Felder auswählen, die überwacht werden müssen, und dann automatisch Datenbankeinfügungen, Aktualisierungen und Löschungen erfassen, um in einfachen relationalen Tabellen einen Datensatz darüber verfügbar zu machen, was sich wo und wann geändert hat. Diese „Änderungstabellen“ enthalten die Metadaten, die erforderlich sind, um die Änderungen im richtigen Kontext zu verstehen und letztendlich bessere Geschäftsentscheidungen zu treffen.

Identifikation

AsteraMit der CDC-Technologie kann der Benutzer aus mehreren Identifikationsoptionen auswählen: Datenbankauslöser, Zeitstempel und Protokolltabellen, um Änderungen zu identifizieren. Mithilfe dieser Änderungsdatenerfassungsansätze kann eine hybride Lesestrategie auch visuell implementiert werden, indem Geschäftsregeln definiert werden, die dem System mitteilen, welche Änderungen zu identifizieren sind und wie.

Integrationsflüsse können mithilfe von CDC-Strategien erstellt werden, um auf Änderungen für die spätere Ausbreitung zu „hören“. Die CDC-Strategie kann auch bei der Konfiguration der Data Warehouse-Ladeeinstellungen in ausgewählt werden Astera Plattform.

Erfassung

Datenbank-INSERTs, UPDATEs und DELETEs, die auf SQL Server-Tabellen angewendet werden, werden mit CDC erfasst, um automatisch Change-Tabellen zu erstellen, die erfassen, was wo und wann wann in nachverfolgten Tabellen geändert wurde. Diese Änderungstabellen enthalten Spalten, die die Spaltenstruktur der Quelltabelle widerspiegeln, sowie die Metadaten, die zum Verständnis der vorgenommenen Änderungen erforderlich sind.

CDC erstellt eine Spiegelung der verfolgten Tabelle mit zusätzlichen Spalten für Metadaten und verwendet diese zur Überwachung von Änderungen.

Liefern

Sobald die Änderungen identifiziert und aufgezeichnet wurden, AsteraDie leistungsstarke Parallelverarbeitungs-Engine verwendet im Backend automatisch ETL-Prozesse (Extrahieren, Transformieren und Laden), um geänderte Daten aus den SQL Server-Quellentabellen entweder pro Transaktion oder in Aggregaten in das Data Warehouse oder Data Mart zu laden.

Da CDC Änderungen an einer Datenquelle erfasst und im gesamten Unternehmen anwendet, werden die für ETL-Prozesse erforderlichen Ressourcen minimiert, da nur Datenänderungen vorgenommen werden.

Aktivieren Sie eine schnellere Datenintegration, um Ihre BI-Initiativen voranzutreiben

Erkennen Sie Geschäftsereignisse bei ihrem Auftreten und erfassen Sie sie automatisch

Sicherstellung der Datensynchronität und Ermöglichung der Echtzeit-Datenintegration mit AsteraChange Data Capture ist eine industrietaugliche ETL-Engine mit fortschrittlichen Automatisierungsfunktionen. Sie ermöglicht die nahtlose Weitergabe von neuen Einträgen in der Datenbank an zugehörige Anwendungen wie Versand, Rechnungsstellung usw.

Hauptmerkmale von DWAccelerator -System umfasst:

Erfüllen Sie die modernen Anforderungen der Echtzeitdatenintegration

Die Entwicklung datengesteuerter Anwendungen erfordert einen zunehmend agilen, modernen Ansatz zur Datenintegration. AsteraDie CDC-Technologie von CD erfasst Daten direkt aus Transaktions-Kernsystemen, während sie erfasst werden, und ermöglicht somit eine Echtzeit-Datenintegration.

Erstellen Sie CDC-Konfigurationen schnell und einfach

Mit der Drag-and-Drop-Umgebung ohne Code unserer Lösungen ist die Konfiguration der richtigen CDC-Strategie schnell und einfach. Benutzer müssen einfach "Inkrementelles Laden" als gewünschte Option für die erforderlichen Entitäten auswählen und weitere Einstellungen definieren, um neue Daten inkrementell von einer Quelle in ein Data Warehouse zu laden.

Minimieren Sie die für ETL-Prozesse erforderlichen Ressourcen

Anstelle von Batch-orientierten Massenladeprozessen zum Extrahieren, Transformieren und Laden, die die Produktion stören und enorme Rechenleistung verbrauchen, können Sie mit CDC nur geänderte Daten in Quellsystemen erfassen und die Änderungen im gesamten Unternehmen bereitstellen.

Erhalten Sie aktuelle Daten schneller, um bessere Geschäftsentscheidungen zu treffen

Unternehmen können nicht länger auf die Daten aus den Backend-Stores warten, da der Wert von Geschäftsentscheidungen in erster Linie von deren Aktualität abhängt. Um dies sicherzustellen, Astera Bietet Ihren Mitarbeitern mit der CDC-Technologie (Change Data Capture) die aktuellste, vollständigste und genaueste Version von Informationen.

Auswahl von Stapel-, Nahe-Echtzeit- und Echtzeit-CDC-Strategien

Konfigurieren Sie CDC je nach Geschäftsanforderungen und -umgebung einfach, um geänderte Daten stapelweise, in definierten Schritten zu laden oder den Stream in Echtzeit bereitzustellen. Die Technologie ist für alle Ihre Geschäftsstrategien flexibel genug.

Erstellen Sie Integrationsflüsse, die Datenbankänderungen "überwachen"

AsteraDer visuelle Builder von Visual S bietet seinen Benutzern eine einfache Drag-and-Drop-Schnittstelle zum Erstellen wiederverwendbarer Datenflüsse, die an alle Datenintegrationsanforderungen angepasst werden können, einschließlich der Möglichkeit, Änderungen in Datenbankfeldern zu überwachen und Zielsysteme zu aktualisieren.

CDC mit automatisierten Datenbank-Triggern einrichten

AsteraDas CDC wendet automatisch Datenbank-Trigger und andere Änderungsidentifizierungsobjekte wie Zeitstempel, Versionsverlauf und aktuelle Statusanzeigen auf Quellsystemen an, um auf Änderungen zu achten.

Skalieren Sie Ihre CDC-Konfiguration, um große Datenmengen aufzunehmen

Nutzen Sie die fortschrittliche Rechenleistung von AsteraHochleistungs-Engine, die die Multicore- und Multiprozessor-Hardware voll ausnutzt, um Ihre CDC-Konfigurationen für ein umfangreiches Datenvolumen zu skalieren.

Wählen Sie aus, ob Sie alle Updates extrahieren möchten oder nur wenige auswählen

Die CDC-Funktion kann so konfiguriert werden, dass eine beliebige Kombination von Änderungen erfasst wird, unabhängig davon, ob Sie die Quelldatenbank vollständig laden möchten, oder einfach so einrichten, dass einige ausgewählte Felder auf Änderungen überprüft und diese kontinuierlich im Data Warehouse aktualisiert werden.

Erfassen Sie Metadaten automatisch, um den Kontext von Änderungen zu verstehen

Während die Technologie auf Änderungen achten und diese Daten erfassen kann, erfasst CDC auch Änderungen an der Datenbankstruktur mithilfe der Data Definition Language (DDL) und zeichnet diese Metadaten in einer separaten Prüftabellenspalte auf.

Verbesserung der Reaktionsfähigkeit der IT auf Geschäftsanforderungen

SCHEMA A DEMO