Verbessern Sie die Leistung der Pushdown-Optimierung in Centerprise

Die weitverbreitete Verbreitung von Cloud-Datenbanken und Transaktionsberichts-Systemen in der gesamten Geschäftslandschaft hat zu einem exponentiellen Wachstum des Volumens und der Vielfalt der Daten geführt, die von Organisationen übertragen werden. Aus diesem Grund müssen sich Analysten, die früher mit der Durchführung von ETL oder ELT für Tausende von Datensätzen beauftragt waren, nun mit Datenmengen herumschlagen, die millionen- oder sogar milliardenfach nummeriert sind.

In diesem Umfeld ist die Technologie, die für die Verarbeitung von Daten und die Bereitstellung von Business Intelligence für relevante Entscheidungsträger verantwortlich ist, erneut unter Druck geraten. Herkömmliche ETL-Tools haben die Aufgabe, immer komplexere und umfangreichere Datenvorgänge durchzuführen, während Transformationsserver an ihre Grenzen stoßen.

Während ELT kann diese Belastung erheblich verringern Durch die Verlagerung der ressourcenintensiven Datenverarbeitung in ein skalierbares Cloud-basiertes RDBMS kann die Pushdown-Optimierung die ETL nicht vollständig ersetzen. Alle Datenflüsse, die Quellen und Ziele außerhalb der Datenbank enthalten, oder nicht unterstützte Transformationen müssen weiterhin auf einen Zwischenserver extrahiert werden. Darüber hinaus können bestimmte Vorgänge effizienter funktionieren, wenn sie durch ein speziell entwickeltes ETL-Tool geleitet werden.

Im neueste Version von CenterpriseWir möchten unseren Nutzern die Möglichkeit geben, beides anzupassen und zu kombinieren ETL und ELT-Prozesse, um eine optimale Leistung auch bei komplexesten Datenflüssen zu gewährleisten. Viele der Verbesserungen in diesem Build sind ein direktes Ergebnis der praktischen Rückmeldungen von Kunden, die Schwierigkeiten hatten, die Vorteile der Pushdown-Optimierung in ihren eigenen Geschäftsprozessen voll auszuschöpfen. Hier sind einige der wichtigsten Änderungen, die wir vorgenommen haben Centerprise 8.0

In-Memory-Sortierungen begrenzen

Als Transformation auf Blockebene erfordern Sortierungen, dass alle Eingabedatensätze im Speicher zwischengespeichert werden, bevor sie gemäß den Kriterien des Benutzers sortiert werden können. Diese Vorgänge beschränken sich nicht nur auf die Sortierumwandlung, andere Umwandlungen wie Aggregate und Verknüpfungen bieten auch die Möglichkeit, eingehende Daten zu sortieren, bevor sie weiter verarbeitet werden. Infolgedessen kann ein Datenfluss mehrere Instanzen dieser teuren Transformation umfassen, die im gesamten Datenfluss stattfinden, was natürlich die Laufzeit erheblich verlängert.

Aus diesem Grund empfehlen wir, Eingabedatensätze an der Quelle zu sortieren, bevor sie in die importiert werden Centerprise Server durch Ausführen dieser Umwandlung im Pushdown-Optimierungsmodus. Darüber hinaus sollte diese Einstellung für alle Pushdown-ausgeschlossenen Transformationen, die Optionen zum Sortieren von Daten bereitstellen, deaktiviert sein, um maximale Effizienz in der Datenfluss-Pipeline zu gewährleisten.

Überprüfen und korrigieren Sie ungültige boolesche Ausdrücke

Im Pushdown-Optimierungsmodus Centerprise konvertiert automatisch boolesche Werte in Ganzzahlen (z. B. 1 und 0 für wahre oder falsche Ausgaben), um die Funktionalität von SELECT-Anweisungen für Datenbanken zu verbessern. Diese Funktion kann jedoch zu Problemen führen, wenn boolesche Ausdrücke im Datenfluss verwendet werden. Diese WHERE-Anweisungen erfordern die korrekte Ausführung zusätzlicher Operatoren, dh IIF (1 = 1, 1, 0). Im Pushdown-Optimierungsmodus werden boolesche Ausdrücke jedoch wie folgt konvertiert: IIF (1,1,0). Diese Anweisung ist zwar logisch gültig, führt jedoch zu Fehlern, wenn verschachtelte boolesche Ausdrücke verwendet werden.

Wenn beispielsweise die innere IIF-Klausel in den folgenden Ausdruck konvertiert wird:

IIF (IIF (CHARINDEX ('Abgrenzung', [DimClaim]. [ClaimSource])> 0, 1, 0), 'Abgrenzung', [DimClaim]. [ClaimSource])

es erzeugt eine Ausgabe von:

IIF (1, 'Accrual', [DimClaim]. [ClaimSource])

Das ist eine syntaktisch ungültige Aussage.

In solchen Fällen muss der Benutzer den Ausdruck selbst korrigieren, indem er den Operator 1 = 1 manuell in den Datenfluss einfügt. Das obige Beispiel könnte wie folgt in eine CONTAINS-Anweisung geändert werden:

If (Enthält ("Accrual", [DimClaim]. [ClaimSource])) = true, "Accrual", [DimClaim]. [ClaimSource])

In Centerprise 8, wir haben es einfacher gemacht, Ausdrücke zwischen SELECT- und WHERE-Anweisungen auszutauschen, indem wir die Unterstützung für Variablen (wiederverwendbare Objekte) im Pushdown-Optimierungsmodus hinzugefügt haben.

Objekte von der Pushdown-Optimierung ausschließen, wo dies bevorzugt wird

Alternativ kann der Benutzer die Ausdrücke mit dem neuen BefehlVom Pushdown ausschließenAttribut. Diese Funktion eignet sich auch zum Ausführen von Objekten, die der Quell- oder Zieldatenbank nicht effizient zugeordnet werden können, oder von Objekten, die in der Datenbank eine andere Leistung erbringen.

Wenn beispielsweise Ausdrücke zu einer X = Y-Ausgabe führen, bei der sowohl X als auch Y Nullwerte sind, Centerprise ist in der Lage, die Ausdrücke als wahr zu bewerten. Wenn diese Werte jedoch in einer WHERE-Klausel in der Datenbank enthalten sind, werden sie immer als falsch bewertet. In diesem Fall ist es vorzuziehen, den Ausdruck über das ETL-Tool anstatt über ELT auszuführen.

In früheren Fällen konnten wir die Laufzeit des Client-Datenflusses um 30 Minuten oder mehr erhöhen, indem wir Objekte und Ausdrücke aufgrund ihrer Eignung für Pushdowns vernünftigerweise ausschließen.

Suchen Sie nach unterstützten Pushdown-Optimierungstransformationen

Bestimmte if / else-Ausdrücke könnten auch in Switch-Transformationen konvertiert werden, die jetzt in unterstützt werden Centerprise. In der Datenbank ähnelt diese Funktion einer CASE-Anweisung und kann zur Vereinfachung komplexer Ausdrücke verwendet werden. Neueste Versionen von Centerprise Dazu gehört auch die Unterstützung für Layoutfelder ohne Eingabeport sowie eine Reihe anderer ETL-Funktionen, die jetzt zuverlässig in unterstützten Datenbanken repliziert werden können.

Eine vollständige Liste der derzeit unterstützten Transformationen finden Sie in Astera Centerprise Im Pushdown-Modus finden Sie eine umfassende Anleitung zu diesem Thema.

Verbessern Sie die Datenflussleistung mit manuellen SQL-Hinweisen

Wenn ein Benutzer der Ansicht ist, dass das Datenbankoptimierungsprogramm seinen Datenfluss nicht optimal ausführt, kann er mithilfe von Optimierungshinweisen den Ausführungsplan ändern. Im CenterpriseDiese Hinweise können auf der Registerkarte "Zeitplan" für den Datenfluss eingegeben werden. Dadurch werden Hinweise auf alle Abfragen und Quellen im Datenfluss angewendet.

In einem früheren Anwendungsfall konnte unser Client Optimierungshinweise verwenden, um einen zusätzlichen Grad an Parallelität zu seinem Datenfluss zu ermöglichen. Auf diese Weise wurde sichergestellt, dass die Serverressourcen maximiert wurden, um einen ressourcenintensiven ELT-Prozess auszuführen, in dem mehrere verschiedene Datenquellen in einem zusammengefasst wurden einzelne Abfrage.

Das Optimierungsprogramm für Abfragehinweise ist auch beim Laden des Data Warehouse hilfreich, wenn Dimensionstabellen aus verschiedenen Quellen mit einer Faktentabelle auf dem Staging-Server verknüpft werden. In diesen Fällen kann der Benutzer mithilfe von SQL-Hinweisen entscheiden, was und wie für eine optimale Leistung bereitgestellt wird.

Übernehmen Sie die Kontrolle über Ihre Unternehmensdatenverarbeitung

Diese Kombination aus zusätzlichen Funktionen und Optimierungen sollte es unseren Benutzern ermöglichen, die Effizienz und die Gesamtleistung ihrer ETL- und ELT-Vorgänge bei jedem Schritt ihrer Datenreise zu steuern. Unabhängig davon, ob sie neue Enterprise Data Warehouses entwickeln oder ihre Datensätze auf eine Cloud-Datenbankinfrastruktur migrieren, CenterpriseDie Pushdown-Funktionen von können sich als wesentlich erweisen.

Weitere Informationen darüber, wie der Pushdown-Optimierungsmodus Ihrem Unternehmen zugute kommen kann, finden Sie in den anderen Blogs dieser Reihe oder planen Sie einen Termin persönliche Beratung mit unserem Verkaufsteam heute.