Créer un flux de données complexe dans Centerprise - Partie 1

 

Partie 1 - Transformations et fonctions jointes

Notre dernier article (Créer un flux d'intégration dans Centerprise) décrit comment créer un flux de données simple dans Centerprise. Dans ce blog en deux parties, nous vous montrerons comment créer un flux de données plus complexe comprenant des cartes, des transformations, des règles de qualité des données et un profilage des données.

La figure ci-dessous montre un flux de données plus complexe.

Dans cet exemple, nous travaillons avec deux fichiers source, l’un contenant des informations sur les prêts immobiliers et l’autre sur l’impôt foncier relatif aux prêts immobiliers correspondants. Nous devons combiner ces deux données et effectuer des conversions en effectuant des calculs sur les attributs. En fin de compte, nous voulons acheminer les données vers deux tables de destination différentes, en fonction de l'origine du prêt immobilier: si elles proviennent de la Californie, elles passent à la table des emprunts en Californie, sinon à la table des emprunts en dehors de l'État. Parallèlement, nous devons vérifier la qualité des données pour les données de prêt et encore une fois pour les données fiscales. Nous devons également profiler les données fiscales afin qu’elles puissent être envoyées dans un fichier Excel et sorties sous forme de rapport.

Afin de concevoir le flux de données illustré ci-dessus, nous commençons par cliquer sur le bouton Nouveau flux de données pour créer un nouveau flux de données. Nous examinons d'abord les données - à la fois les données sur les prêts et les données fiscales. Dans le blog précédent, Créer des flux de données simples, nous avons appris à créer notre source simplement en faisant un glisser-déposer de la boîte à outils vers le concepteur et en spécifiant les propriétés. Cependant, il existe également un raccourci pour créer directement des sources. Faites simplement glisser et déposez les fichiers Excel de prêts et de taxes directement de la fenêtre de l'Explorateur vers le concepteur.

Centerprise fait le reste. Il a créé la source, sait d'où vient le fichier et a fait la mise en page. Lorsque vous cliquez sur le chevron, vous pouvez voir toutes les colonnes de données du fichier source.

Cliquez sur l'aperçu pour voir toutes vos données dans la fenêtre d'aperçu.

Maintenant, faites la même chose avec le fichier de taxe. Lorsque vous affichez un aperçu de vos données fiscales, vous pouvez voir les informations de taxe foncière pour chacun des prêts.

Ensuite, nous voulons combiner les deux sources. Pour ce faire, nous utilisons la transformation Joindre. Faites glisser la transformation Joindre et déposez-la sur le concepteur.

Lorsque vous cliquez sur le chevron, vous pouvez voir que la transformation ne contient aucun élément.

Nous voulons prendre tous les éléments des sources de prêt et de source fiscale et les combiner dans la transformation Joindre. Faites glisser et déposez le nœud supérieur Prêts dans la fenêtre Joindre. Tu peux voir ça Centerprise a automatiquement créé et mappé tous les champs.

Pour ajouter les deux champs Taxes à la jointure, faites glisser chaque champ dans la fenêtre Jointure et Centerprise ajoute automatiquement les champs et les mappe.

Notez que puisqu'il y a maintenant deux champs LoanId, Centerprise a ajouté celui de la source Tax à LoanID_1.

Nous avons maintenant tous les champs requis pour la jointure. Si nous cliquons avec le bouton droit de la souris sur la fenêtre Joindre et sélectionnons Propriétés, nous pouvons voir tous les champs des prêts et des taxes.

Cliquez sur la flèche bleue en haut à gauche de la fenêtre pour aller à la page suivante, où nous spécifierons le type de jointure que nous souhaitons. Choisissez une jointure interne simple, puis, dans les entrées Trier à gauche et Trier à droite, spécifiez la clé qui sera utilisée pour la jointure. Pour les prêts, il s'agit du LoanID et pour les impôts, du LoanID_1.

Cliquez sur OK et notre jointure est prête. Lorsque nous prévisualisons les données, nous pouvons constater que pour chacun des prêts, les informations de taxe foncière et de prêt sont jointes.

Donc, en quelques clics, nous avons rejoint nos deux sources.

La prochaine étape consiste à utiliser notre jointure comme source pour notre transformation et nos cartes. Faites glisser et déposez la carte d'expression de la boîte à outils sur le concepteur.

Ceci est utilisé pour faire des calculs et tout type de combinaison de données. Dans cet exemple, nous voyons que les informations sur les prêts ont le nom de l'emprunteur, son état et son code postal. Nous voulons combiner ces trois champs en un seul et l'appeler "Adresse" dans notre destination. Étant donné que nous allons acheminer vers deux destinations différentes, notre prochaine étape naturelle consiste à ajouter un routeur.

Faites glisser et déposez un routeur de la boîte à outils sur le concepteur. Le routeur devient la prochaine destination.

Ensuite, faites glisser les trois champs que vous souhaitez combiner (nom de l’emprunteur, état et code postal) de notre fenêtre de jointure vers la fenêtre d’expression.

Ensuite, ouvrez la fenêtre des propriétés de l’expression, cliquez sur le bouton Suivant de la flèche bleue pour afficher l’écrivain de règles, ce qui nous permet d’écrire tout type de règle. Vous pouvez voir que le menu déroulant des fonctions contient une vaste sélection de fonctions pouvant être utilisées pour écrire des règles telles que logique, conversion, date / heure, analyse de nom et adresse, mathématiques, etc.

Dans cet exemple, nous avons une concaténation très simple, nous allons donc écrire la règle commençant par Nom, puis une virgule, puis un Etat, puis un espace, puis le Code postal, qui est un entier. Comme nous effectuons une concaténation des chaînes, nous utiliserons une fonction de conversion pour convertir le code postal d’un entier en chaîne.

Cliquez sur OK et notre valeur est prête pour la sortie. Nous prenons cette valeur et glissons-la vers notre destination. Vous pouvez voir que la valeur est maintenant dans la destination.

À ce stade, nous pouvons faire un aperçu et voir comment nos données vont réellement fonctionner. Vous pouvez constater que le nom, l’état et le code postal ont été combinés comme nous le souhaitions: nom, virgule, état, espace, code postal. Voici comment écrire des règles simples et des calculs simples pour la conversion de données.

Ensuite, nous voulons créer une fonction. Nous commençons par glisser-déposer une fonction de la boîte à outils vers le concepteur.

Nous avons le champ Nom dans notre jointure, mais notre destination utilise les champs Prénom et Nom, nous devons donc extraire le champ Nom et le scinder en Prénom et Nom. Pour cela, nous allons utiliser la fonction d'analyse de noms. Cliquez sur les propriétés de la fonction et choisissez Analyse du nom et de l'adresse dans le menu déroulant. Sélectionnez ensuite la fonction Parse Name et cliquez sur OK.

 

Lorsque vous développez la fonction, vous pouvez voir qu’une liste d’options possibles pour les champs liés au nom est disponible.

Faites glisser et déposez le champ de nom de la fenêtre Joindre vers le côté gauche de la fonction pour créer l'entrée. Les options sont ensuite affichées sur le côté droit pour la sortie. Glissez-déposez les champs Prénom et Nom de la fenêtre de fonction vers la destination.

Lorsque vous affichez un aperçu, vous pouvez voir que Centerprise a pris les noms de la transformation et les a divisés en prénom et nom de famille.

Voici comment utiliser des fonctions et des expressions. La partie 2 de ce blog, qui paraîtra la semaine prochaine, expliquera comment acheminer les données que nous avons transformées vers plusieurs destinations.