Centerprise Best Practices: Modularität und Wiederverwendbarkeit im Datenflussdesign

By |2013-11-18T10:57:47+00:00November 18th, 2013|

Datenflüsse sind der Grundstein für jedes Datenintegrationsprojekt in Centerprise. Der Dataflow-Designer mit seiner visuellen Benutzeroberfläche, Drag-and-Drop-Funktionen, der direkten Vorschau und dem vollständigen Angebot an Quellen, Zielen und Transformationen stellt sicher, dass Benutzer effektive und effiziente Datenflüsse erstellen und aufrechterhalten können. Dieser zweiteilige Blog enthält einige bewährte Methoden, um das Beste aus Ihrem zu machen Centerprise Integrationsprojekte. Teil 1 befasst sich mit Modularität und Wiederverwendbarkeit, den wichtigsten Konstruktionsprinzipien für die Entwicklung guter Datenflüsse. Im zweiten Teil dieses Blogs werden wir Best-Practice-Optimierungsmethoden besprechen.

Modularität und Wiederverwendbarkeit
Die Modularität verbessert die Wartbarkeit Ihrer Datenflüsse, indem sie einfacher lesbar und verständlich werden. Es fördert auch die Wiederverwendbarkeit, indem häufig verwendete Logik in einzelne Komponenten isoliert wird, die von anderen Flows als „Black Box“ genutzt werden können. Centerprise unterstützt mehrere Typen wiederverwendbarer Komponenten, einschließlich Unterflows, gemeinsam genutzte Aktionen, gemeinsam genutzte Verbindungen und getrennte Transformationen.

Unterströme sind wiederverwendbare Blöcke häufig verwendeter Datenflussschritte mit Ein- und Ausgängen. Einmal erstellte Unterabläufe können wie eingebaute verwendet werden Centerprise Transformationen. Beispiele für wiederverwendbare Logik, die in Subflows untergebracht werden kann, sind:

  • Überprüfungen, die auf Daten angewendet werden, die aus mehreren Quellen stammen, häufig in nicht kompatiblen Formaten
  • Transformationssequenzen, z. B. eine Kombination aus Lookup-, Ausdrucks- und Funktionstransformationen, die an mehreren Stellen im Projekt auftreten
  • Verarbeitung eingehender Daten, die in verschiedenen Formaten ankommen, jedoch normalisiert, validiert und an Bord gebracht werden müssen

Beispiel Centerprise Unterfluss

Freigegebene Aktionen sind Subflows ähnlich, enthalten aber nur eine einzige Aktion. Sie sind nützlich, wenn eine Quelle oder ein Ziel an mehreren Stellen innerhalb eines Projekts verwendet wird. Wenn ein Feld aus der Quelle hinzugefügt oder daraus entfernt wird, übernehmen alle Projekte diese Änderung automatisch.

Freigegebene Verbindungen enthalten Datenbankverbindungsinformationen, die von mehreren Aktionen innerhalb eines Datenflusses gemeinsam genutzt werden können. Sie können auch verwendet werden, um die Transaktionsverwaltung für eine Reihe von Datenbankzielen durchzusetzen. Verwenden Sie sie immer dann, wenn mehrere Aktionen in einem Datenfluss die gleichen Datenbankverbindungsinformationen verwenden.

Freistehende Transformationen sind eine Fähigkeit innerhalb Centerprise entwickelt für Szenarien, in denen eine Suche oder ein Ausdruck an mehreren Stellen innerhalb eines Datenflusses verwendet wird. Mit getrennten Transformationen können Sie eine einzelne Instanz erstellen und an mehreren Stellen verwenden. Sie stehen in Ausdrücken als aufrufbare Funktionen zur Verfügung, sodass Sie sie in mehreren Ausdrücken verwenden können. Außerdem können Sie mit Detached Transformations Lookups bedingt verwenden. Ein Beispiel für eine bedingte Suche wäre: "Wenn der Partnertyp ein Versicherer ist, führen Sie eine Suche in der Versicherungstabelle durch, ansonsten führen Sie eine Suche in der Anbietertabelle aus."

Centerprise Freistehende Transformation

Eingabeparameter und Ausgangsvariablen ermöglicht es, Datenflüsse zur Laufzeit mit Werten zu versorgen und Ausgabeergebnisse aus Datenströmen zurückzugeben. Gut konzipierte Parameter- und Ausgabevariablenstrukturen fördern die Wiederverwendbarkeit und reduzieren die laufenden Wartungskosten.

Eingabeparameter

Eingabeparameterwerte können aus einem aufrufenden Workflow mithilfe von Datenzuordnung bereitgestellt werden. Analysieren Sie beim Entwerfen von Datenflüssen die Werte, die sich zwischen den verschiedenen Durchläufen des Flusses ändern können, und definieren Sie diese Werte als Eingabeparameter. Eingabeparameter können Dateipfade, Datenbankverbindungsinformationen und andere Datenwerte enthalten.

Ausgabevariablen

Wenn Sie basierend auf dem Ergebnis eines Datenflusslaufs Entscheidungen über nachfolgende Ausführungspfade treffen möchten, definieren Sie Ausgabevariablen und verwenden Sie eine Ausdrucksumwandlung, um Werte in Ausgabevariablen zu speichern. Diese Ausgabevariablen können in nachfolgenden Workflow-Aktionen zur Steuerung des Ausführungspfads verwendet werden.

Centerprise Best Practices für die Leistung

Nächste Woche werden wir Best Practices für die Performance austauschen. weil Centerprise wurde als Parallelverarbeitungsplattform entwickelt, um überlegene Geschwindigkeit und Leistung zu bieten. Durch das Design von Datenflüssen, die die Fähigkeiten der Software nutzen, kann die Datenintegrationsleistung erheblich beeinträchtigt werden. Die Best Practices für die Leistung, die wir nächste Woche besprechen, können zu einer erheblichen Leistungssteigerung führen.