Welche Transformationen werden unterstützt? Centerprise 8.0's aktualisierter Pushdown-Optimierungsmodus?

By |2019-12-23T08:44:28+00:00August 6th, 2019|

Eine breite Palette von Transformationen auf Datensatz- und Set-Ebene wird unterstützt CenterpriseDatenintegrationsfunktionen von. Sie können auf Datensätze aus beliebigen Quellen angewendet werden, um sie für die Weitergabe an Berichterstellungs- und Analysesysteme vorzubereiten, die im gesamten Unternehmen in den Bereichen Vertrieb, Personalwesen, Finanzen und anderen Schlüsselfunktionen eingesetzt werden. Datenfluss-Pipelines können alles umfassen, von einfachen Operationen zum Sortieren und Übertragen von Tabellen an ein Ziel bis hin zu komplexen Integrationsprozessen, die mehrere Verknüpfungen, Aggregationen, Lookups und benutzerdefinierte Ausdrücke umfassen.

Heutzutage nimmt das Volumen und die Vielfalt der Daten, die durch diese Pipelines übertragen werden, mit immer größeren Transformationen, die über zwischengeschaltete Staging-Server übertragen werden, weiter zu. Infolgedessen ist die Leistung für Endbenutzer zu einem dringenden Problem geworden.

Obwohl CenterpriseDie ETL-Engine verwendet intelligente Verarbeitungsalgorithmen und einen hohen Grad an Parallelität, um die Skalierbarkeit und Geschwindigkeit von Jobs zur Integration großer Datenmengen zu optimieren. Dieser dreistufige Prozess kann dennoch als Engpass für eine effiziente Datenlieferung wirken.

Im Pushdown-Optimierungsmodus Centerprise nutzt die native Rechenkapazität leistungsstarker RDBMS, um alle erforderlichen Vorgänge in einem Datenfluss auszuführen. Diese Einstellung erlaubt Centerprise Laden von Daten direkt in Zieldatenbanken, von wo aus sie mithilfe der intuitiven Drag-and-Drop-Transformationen, die bereits auf unserer Plattform verfügbar sind, im nativen SQL-Code angereichert und aufbereitet werden können. Dieser optimierte ELT-Prozess (Extract-Load-Transformation) eignet sich ideal für große Datenmengen.

In Astera Centerprise Mit 8.0 haben wir eine native SQL-Unterstützung für eine Reihe von erweiterten Transformationen hinzugefügt, sodass Benutzer die vollen Leistungsvorteile von ELT auch in den komplexesten Datenfluss-Pipelines nutzen können. Die im Pushdown-Optimierungsmodus angebotenen Bereinigungs-, Anreicherungs- und Validierungsfunktionen umfassen:

  • Transformationen beitreten
  • Filter-Transformationen
  • Transformationen sortieren
  • Union Transformations
  • Aggregierte Transformationen
  • Eindeutige Transformationen
  • Datenbank-Tabellensuche
  • Listen-Lookups
  • Sequenzgenerator-Transformationen
  • Routenumwandlungen
  • Transformationen wechseln
  • Verschiedene Funktionsumwandlungen
  • Abmessungen langsam ändern
  • Dimensionssuchen
  • DiffProcessor-Datenbankschreibstrategie
  • Über 40 verschiedene Quellen und Ziele

Um einen umfassenden Überblick über diese Vorgänge und ihre Funktionsweise in der Datenbank zu erhalten, Laden Sie das vollständige Dokument herunter auf Pushdown unterstützte Transformationen in Centerprise 8.0