Creando un flujo de datos complejo en Centerprise - Parte 1

 

Parte 1 - Transformaciones y funciones de unión

Nuestro último post (Creación de un flujo de integración en Centerprise) describió cómo crear un flujo de datos simple en Centerprise. En este blog de dos partes, le mostraremos cómo construir un flujo de datos más complejo que incluye mapas, transformaciones, reglas de calidad de datos y perfiles de datos.

La siguiente figura muestra un flujo de datos más complejo.

En este ejemplo, estamos trabajando con dos archivos de origen, uno contiene información sobre préstamos hipotecarios y el otro contiene información sobre el impuesto a la propiedad para los préstamos hipotecarios correspondientes. Necesitamos combinar estos dos datos y hacer algunas conversiones ejecutando algunos cálculos en los atributos. Al final, queremos encaminar los datos a dos tablas de destino diferentes, dependiendo del origen del préstamo hipotecario: si es de California, va a la tabla de Préstamos de California; de lo contrario, va a la tabla de Préstamos de otros estados. Además de esto, debemos verificar la calidad de los datos para los datos del préstamo y nuevamente los datos de impuestos. También debemos crear un perfil de los datos fiscales para que se puedan enviar a un archivo de Excel y generar un informe.

Para diseñar el flujo de datos que se muestra arriba, comenzamos haciendo clic en el botón Nuevo flujo de datos para crear un nuevo flujo de datos. Primero miramos los datos, tanto los de préstamos como los de impuestos. En el blog anterior, Creación de flujos de datos simples, aprendimos cómo crear nuestra fuente simplemente arrastrando y soltando desde la caja de herramientas al diseñador y especificando propiedades. Sin embargo, también hay un atajo para crear fuentes directamente. Simplemente arrastre y suelte los archivos de Excel de préstamos e impuestos directamente desde la ventana del Explorador al diseñador.

Centerprise hace el resto. Ha creado la fuente, sabe de dónde viene el archivo y ha hecho el diseño. Cuando hace clic en el chevron, puede ver todas las columnas de datos del archivo fuente.

Haga clic en vista previa y podrá ver todos sus datos en la ventana de vista previa.

Ahora haz lo mismo con el archivo de impuestos. Cuando obtiene una vista previa de sus datos fiscales, puede ver la información del impuesto a la propiedad para cada uno de los préstamos.

A continuación queremos combinar las dos fuentes. Para ello utilizamos la transformación Unir. Arrastre y suelte la transformación Unir en el diseñador.

Cuando hace clic en el chevron, puede ver que la transformación no tiene ningún elemento.

Queremos tomar todos los elementos de los préstamos y las fuentes de impuestos y combinarlos en la transformación Unir. Arrastre y suelte el nodo superior Préstamos en la ventana Unirse. Puedes ver eso Centerprise ha creado y mapeado automáticamente todos los campos.

Para agregar los dos campos de impuestos a la unión, arrastre y suelte cada campo a la ventana de unión y Centerprise Añade automáticamente los campos y los mapea.

Tenga en cuenta que ya que ahora hay dos campos LoanId, Centerprise ha agregado el de la fuente de impuestos a LoanID_1.

Ahora tenemos todos los campos requeridos para la unión. Si hacemos clic derecho en la ventana Unirse y seleccionamos Propiedades, podemos ver todos los campos de Préstamos e Impuestos.

Haga clic en la flecha azul en la parte superior izquierda de la ventana para ir a la página siguiente, donde especificaremos qué tipo de unión queremos. Elija una combinación interna simple, luego, en las entradas Ordenar a la izquierda y Ordenar a la derecha, especifique la clave que se usará para la unión. Para los préstamos es el ID de préstamo y para los impuestos es el ID de préstamo_1.

Haga clic en Aceptar y nuestra unión está lista. Cuando obtenemos una vista previa de los datos, podemos ver que para cada uno de los préstamos se unen el impuesto a la propiedad y la información del préstamo.

Así que con unos pocos clics hemos unido nuestras dos fuentes.

El siguiente paso es utilizar nuestra combinación como fuente para nuestra transformación y mapas. Arrastre y suelte el mapa de expresión desde la caja de herramientas al diseñador.

Esto se utiliza para hacer cálculos y cualquier tipo de combinación de datos. En este ejemplo, vemos que la información de los Préstamos tiene el nombre, estado y código postal del prestatario. Queremos combinar estos tres campos en un solo campo y llamarlo "Dirección" en nuestro destino. Ya que vamos a enrutar a dos destinos diferentes, nuestro siguiente paso natural es agregar un enrutador.

Arrastre y suelte un enrutador desde la caja de herramientas hasta el diseñador. El enrutador se convierte en el próximo destino.

A continuación, arrastre y suelte los tres campos que queremos combinar (nombre del prestatario, estado y código postal) desde nuestra ventana de unirse a la ventana de expresión.

Luego abra la ventana de propiedades de la expresión, haga clic en el botón de flecha azul que se encuentra a continuación y se nos presenta el escritor de reglas, que nos permite escribir cualquier tipo de regla. Puede ver que el menú desplegable de funciones tiene una gran selección de funciones que se pueden usar para escribir reglas como lógica, conversión, fecha / hora, análisis de nombre y dirección, matemáticas, etc.

En este ejemplo tenemos una concatenación muy simple, por lo que escribiremos la regla que comienza con Nombre, luego una coma, luego Estado, luego un espacio, luego el Código postal, que es un número entero. Ya que estamos haciendo una concatenación de las cadenas, usaremos una función de conversión para convertir el Código Postal de un número entero a una cadena.

Haga clic en Aceptar y nuestro valor está listo para la salida. Tomamos este valor y lo arrastramos y soltamos a nuestro destino. Puedes ver que el valor está ahora en el destino.

En este punto, podemos hacer una vista previa y ver cómo funcionarán realmente nuestros datos. Puede ver que el Nombre, el Estado y el Código postal se han combinado de la forma que queríamos: Nombre, coma, Estado, espacio, Código postal. Así es como puede escribir reglas simples y cálculos simples para la conversión de datos.

A continuación queremos crear una función. Comenzamos arrastrando y soltando una función de la caja de herramientas en el diseñador.

Tenemos el campo Nombre en nuestra unión, pero nuestro destino usa los campos Nombre y Apellido, por lo que debemos tomar el campo Nombre y dividirlo en Nombre y Apellido. Para eso usaremos la función Name Parsing. Haga clic en las propiedades de la función y elija Análisis de nombre y dirección en el menú desplegable. Luego seleccione la función Parse Name y haga clic en OK.

 

Cuando amplía la función, puede ver que hay disponible una lista de posibles opciones de campos relacionados con el nombre.

Arrastre y suelte el campo de nombre de la ventana Unir al lado izquierdo de la función para crear la entrada, que luego tenemos las opciones en el lado derecho para la salida. Arrastre y suelte los campos Nombre y Apellido de la ventana de función al destino.

Cuando previsualiza, puede ver que Centerprise ha tomado los nombres de la transformación y los ha dividido en nombre y apellido.

Así es como puedes usar funciones y expresiones. La parte 2 de este blog que se publicará la próxima semana explicará cómo encaminar los datos que hemos transformado a múltiples destinos.