Erstellen eines komplexen Datenflusses in Centerprise - Teil 1

 

Teil 1 - Join Transformations und Funktionen

Unser letzter Beitrag (Erstellen eines Integrationsflusses in Centerprise) beschrieben, wie ein einfacher Datenfluss in erstellt wird Centerprise. In diesem zweiteiligen Blog zeigen wir Ihnen, wie Sie einen komplexeren Datenfluss erstellen, einschließlich Karten, Transformationen, Datenqualitätsregeln und Datenprofilierung.

Die folgende Abbildung zeigt einen komplexeren Datenfluss.

In diesem Beispiel arbeiten wir mit zwei Quelldateien, eine enthält Informationen zu Wohnungsbaudarlehen und die andere enthält Informationen zur Grundsteuer für die entsprechenden Wohnungsbaudarlehen. Wir müssen diese beiden Daten miteinander kombinieren und einige Konvertierungen durchführen, indem Sie einige Berechnungen für Attribute ausführen. Am Ende möchten wir die Daten je nach Herkunft des Darlehens an zwei verschiedene Zieltabellen weiterleiten: Wenn sie aus Kalifornien stammen, werden sie an die California Loans-Tabelle gesendet, andernfalls an die Out-of-State-Loans-Tabelle. Daneben müssen wir die Datenqualität für die Kreditdaten und nochmals für die Steuerdaten überprüfen. Wir müssen auch die Steuerdaten profilieren, damit sie an eine Excel-Datei gesendet und als Bericht ausgegeben werden können.

Um den oben gezeigten Datenfluss zu gestalten, klicken wir zunächst auf die Schaltfläche Neuer Datenfluss, um einen neuen Datenfluss zu erstellen. Zuerst betrachten wir die Daten - sowohl Kreditdaten als auch Steuerdaten. Im vorherigen Blog, Erstellen einfacher Datenflüsse, haben wir gelernt, wie Sie unsere Quelle erstellen, indem Sie sie einfach aus der Toolbox auf den Designer ziehen und dort ablegen und Eigenschaften angeben. Es gibt jedoch auch eine Verknüpfung zum direkten Erstellen von Quellen. Ziehen Sie die Excel-Dateien für Kredite und Steuern einfach per Drag & Drop direkt aus dem Explorer-Fenster auf den Designer.

Centerprise macht den Rest Es hat die Quelle erstellt, weiß, woher die Datei kommt, und hat das Layout erstellt. Wenn Sie auf das Chevron klicken, können Sie alle Datenspalten der Quelldatei sehen.

Klicken Sie auf Vorschau, um alle Ihre Daten im Vorschaufenster anzuzeigen.

Jetzt machen Sie dasselbe mit der Steuerdatei. Wenn Sie eine Vorschau Ihrer Steuerdaten anzeigen, können Sie die Informationen zur Grundsteuer für jedes Darlehen anzeigen.

Als nächstes wollen wir die beiden Quellen kombinieren. Dazu verwenden wir die Join-Transformation. Ziehen Sie die Join-Umwandlung per Drag & Drop in den Designer.

Wenn Sie auf den Chevron klicken, können Sie sehen, dass die Transformation keine Elemente enthält.

Wir möchten alle Elemente aus den Darlehens- und Steuerquellen entnehmen und in der Join-Umwandlung kombinieren. Ziehen Sie den obersten Knoten der Kredite in das Join-Fenster. Sie können sehen, dass Centerprise hat alle Felder automatisch erstellt und zugeordnet.

Um die beiden Steuerfelder zum Join hinzuzufügen, ziehen Sie jedes Feld per Drag & Drop in das Join-Fenster und Centerprise fügt die Felder automatisch hinzu und ordnet sie zu.

Beachten Sie, dass es jetzt zwei LoanId-Felder gibt, Centerprise hat die aus der Steuerquelle an LoanID_1 angehängt.

Jetzt haben wir alle Felder, die für den Join erforderlich sind. Wenn wir mit der rechten Maustaste auf das Join-Fenster klicken und Eigenschaften auswählen, können wir alle Felder von Darlehen und Steuern sehen.

Klicken Sie auf den blauen Pfeil oben links im Fenster, um zur nächsten Seite zu gelangen, auf der wir angeben, welche Art von Join wir wünschen. Wählen Sie einen einfachen inneren Join aus und geben Sie dann in den Eingaben Sort Left und Sort Right den Schlüssel an, der für den Join verwendet wird. Für Darlehen ist dies die Darlehens-ID und für Steuern die Darlehens-ID_1.

Klicken Sie auf OK und unser Beitritt ist fertig. Wenn wir die Daten in der Vorschau anzeigen, können wir feststellen, dass für jedes Darlehen die Steuer- und Darlehensinformationen zusammengefügt werden.

Mit ein paar Klicks haben wir uns unseren beiden Quellen angeschlossen.

Der nächste Schritt besteht darin, unseren Join als Quelle für unsere Transformation und Karten zu verwenden. Ziehen Sie die Ausdruckskarte aus der Toolbox auf den Designer.

Dies wird verwendet, um Berechnungen durchzuführen und Daten zu kombinieren. In diesem Beispiel sehen wir, dass die Darlehensinformationen den Kreditnehmernamen, den Staat und die Postleitzahl enthalten. Wir möchten diese drei Felder in einem Feld zusammenfassen und in unserem Ziel "Adresse" nennen. Da wir zu zwei verschiedenen Zielen routen werden, ist es unser nächster natürlicher Schritt, einen Router hinzuzufügen.

Ziehen Sie einen Router aus der Toolbox auf den Designer. Der Router wird zum nächsten Ziel.

Ziehen Sie anschließend die drei zu kombinierenden Felder (Kreditnehmername, Bundesstaat und Postleitzahl) aus unserem Join-Fenster in das Ausdrucksfenster.

Öffnen Sie dann das Fenster mit den Ausdruckseigenschaften, klicken Sie auf die Schaltfläche mit dem blauen Pfeil, und Sie sehen den Rules-Writer, mit dem Sie jede Art von Regel schreiben können. Das Dropdown-Menü für Funktionen enthält eine große Auswahl an Funktionen, die zum Schreiben von Regeln verwendet werden können, z. B. Logik, Konvertierung, Datum / Uhrzeit, Namens- und Adressanalyse, Mathematik usw.

In diesem Beispiel haben wir eine sehr einfache Verkettung. Deshalb schreiben wir die Regel beginnend mit Name, dann mit einem Komma, dann mit State, dann mit einem Leerzeichen und dann mit der Postleitzahl, die eine Ganzzahl ist. Da wir die Zeichenfolgen verketten, verwenden wir eine Konvertierungsfunktion, um die Postleitzahl von einer Ganzzahl in eine Zeichenfolge umzuwandeln.

Klicken Sie auf OK und unser Wert ist zur Ausgabe bereit. Wir nehmen diesen Wert und ziehen ihn per Drag & Drop an unser Ziel. Sie können sehen, dass sich der Wert jetzt im Ziel befindet.

An dieser Stelle können wir eine Vorschau erstellen und sehen, wie unsere Daten wirklich funktionieren werden. Sie können sehen, dass Name, Bundesland und Postleitzahl wie gewünscht kombiniert wurden: Name, Komma, Bundesland, Leerzeichen und Postleitzahl. So können Sie einfache Regeln und einfache Berechnungen für die Datenkonvertierung schreiben.

Als nächstes wollen wir eine Funktion erstellen. Zuerst ziehen wir eine Funktion aus der Toolbox in den Designer.

Wir haben das Namensfeld in unserem Join, aber unser Ziel verwendet die Felder FirstName und LastName. Daher müssen wir das Namensfeld verwenden und es in FirstName und LastName aufteilen. Dafür verwenden wir die Funktion zur Namensanalyse. Klicken Sie auf die Funktionseigenschaften und wählen Sie im Dropdown-Menü die Option Namens- und Adressanalyse. Wählen Sie dann die Funktion Parse Name und klicken Sie auf OK.

 

Wenn Sie die Funktion erweitern, können Sie sehen, dass eine Liste mit möglichen Namenfeldoptionen verfügbar ist.

Ziehen Sie das Namensfeld aus dem Join-Fenster auf die linke Seite der Funktion und legen Sie es ab, um die Eingabe zu erstellen. Auf der rechten Seite befinden sich dann die Optionen für die Ausgabe. Ziehen Sie die Felder FirstName und LastName per Drag & Drop aus dem Funktionsfenster zum Ziel.

Wenn Sie eine Vorschau anzeigen, können Sie das sehen Centerprise hat die Namen aus der Transformation genommen und sie in Vor- und Nachnamen aufgeteilt.

So können Sie Funktionen und Ausdrücke verwenden. Teil 2 dieses Blogs, der nächste Woche veröffentlicht wird, erläutert, wie die von uns transformierten Daten an mehrere Ziele weitergeleitet werden.