Flujos de datos: la piedra angular de la parte de integración de datos 1

By |2019-08-23T06:17:15+00:002nd septiembre, 2014|

Parte 1 - Introducción a Centerprise Flujos de datos

Debido a que los flujos de datos son la piedra angular de la integración de datos, hemos organizado en una serie de blogs nuestra documentación sobre Centerprise flujos de datos. Centerprise Dataflow Designer, con su interfaz visual, capacidades de arrastrar y soltar, vista previa instantánea y complemento completo de orígenes, objetivos y transformaciones, es la manera perfecta para que los usuarios creen y mantengan flujos de datos efectivos y eficientes. Esta serie de ocho partes de blogs cubrirá todo lo que necesita saber para aprovechar al máximo su Centerprise proyectos de integración.

Un flujo de datos contiene un conjunto de transformaciones que se ejecutan en una secuencia definida por el usuario. Generalmente, los datos se leen de una o más fuentes de datos, pasan por una serie de transformaciones y los datos transformados se escriben en uno o más destinos. La modularidad mejora la capacidad de mantenimiento de sus flujos de datos al facilitar su lectura y comprensión. También promueve la reutilización al aislar la lógica de uso frecuente en componentes individuales que pueden aprovecharse como "cajas negras" por otros flujos. Centerprise admite varios tipos de componentes reutilizables, incluidos subflujos, acciones compartidas, conexiones compartidas y transformaciones separadas. Visita nuestro blog en Centerprise Buenas Prácticas: Modularidad y Reutilización. para obtener detalles adicionales.

Centerprise Los flujos de datos proporcionan una integración perfecta entre las fuentes de datos y los destinos, ayudando a los usuarios a integrar aplicaciones dentro de la empresa, así como con clientes externos, proveedores y otros socios comerciales. en un Centerprise el flujo de datos, cualquier número de orígenes y destinos se puede combinar y combinar en un solo diagrama de flujo de datos visual, lo que permite especificar transformaciones, validaciones y enrutamiento a medida que los datos se mueven por la tubería.

Con la Centerprise Los flujos de datos, los datos se pueden combinar desde múltiples fuentes dispares, los datos se pueden dividir de una sola fuente en múltiples destinos, y se pueden realizar una serie de transformaciones relativamente simples a altamente complejas. Centerprise las transformaciones incorporadas incluyen transformaciones a nivel de campo tales como expresiones, búsquedas y funciones, así como transformaciones a nivel de conjunto de registros como ordenación, unión, unión, fusión, filtro, enrutamiento, normalización, desnormalización y muchos otros. Centerprise también proporciona transformaciones para permitir que los usuarios apliquen reglas de calidad de datos, asegurando que los datos cumplan con un criterio específico. Además, los usuarios pueden enrutar el flujo de datos utilizando una lógica de decisión personalizada que es adecuada para un escenario particular.

Subflujos

Para un conjunto de transformaciones complejas que se usan repetidamente, se pueden crear subflujos que permitan a los usuarios construir proyectos de integración modular. Un subflujo es un flujo de datos que se puede utilizar dentro de otro flujo de datos. Se puede llamar a cualquier número de subflujos para que se ejecuten dentro del flujo de datos. Un subflujo permite ocultar la lógica subyacente dentro del subflujo y tratarlo como una caja negra dentro del flujo de datos principal. Esto simplifica y agiliza el diseño de trabajos de integración, aumenta la reutilización y da como resultado un diagrama general más fácil de entender. Con el tiempo, a medida que cambia la lógica dentro del subflujo, el subflujo puede actualizarse y la actualización se refleja automáticamente en el flujo de datos principal.

Ejemplo Centerprise subflujo

 

Registro avanzado

La funcionalidad avanzada de registro en Centerprise proporciona una visibilidad detallada de los datos en cada paso del flujo de datos. Un "modo de calidad de datos" especial está disponible para ayudar a capturar mensajes de error e información de estado relacionada a medida que los registros se mueven a través del flujo de datos. Las estadísticas de calidad de los datos se pueden escribir en cualquier destino, de modo que tanto los registros de datos individuales como el perfil de datos agregados estén disponibles para su revisión y análisis.

Parametrización

Centerprise Los flujos de datos pueden ejecutarse en servidores locales o remotos. Para apoyar la implementación sin problemas de desarrollo a producción, Centerprise Proporciona una amplia parametrización. Esta capacidad le permite cambiar la información de conexión de la base de datos, las rutas de los archivos, la información de autenticación y otros valores en tiempo de ejecución sin modificar los documentos subyacentes.

Diseñador de flujo de datos

Se puede crear un nuevo flujo de datos desde cero con solo unos pocos clics utilizando el Centerprise Diseñador gráfico de flujo de datos. El diseñador de flujo de datos permite a los usuarios arrastrar y soltar objetos en el flujo de datos, copiarlos o moverlos entre flujos de datos, cambiar propiedades, crear mapas y guardar objetos para reutilizarlos en un flujo de datos diferente, entre muchas otras cosas, todo con la capacidad de deshacer ilimitado Rehacer de acciones anteriores.

Los objetos se pueden agregar a un flujo de datos de varias maneras, incluyendo arrastrar y soltar directamente desde cualquier ventana del Explorador, arrastrar y soltar tablas o vistas desde el Explorador de fuente de datos incorporado, o agregando un objeto directamente desde la caja de herramientas de flujo.

Caja de herramientas de flujo

Los objetos en la caja de herramientas de flujo están organizados en categorías expandibles. Las siguientes categorías principales están disponibles:

Fuentes

Las fuentes de datos son puntos de partida para cualquier flujo de datos. Los datos se leen desde el origen de datos y, opcionalmente, pueden pasar a transformaciones posteriores antes de que se escriban en un destino. Las fuentes de datos no pueden suceder a ningún objeto que no sean parámetros, contexto u objetos singleton.

Puede asignar cualquier fuente de datos como singleton. Las fuentes Singleton son útiles cuando se leen valores de archivos de configuración o bases de datos, que luego se suministran como parámetros a los otros objetos de flujo de datos. Cuando una fuente de datos está marcada como singleton, Centerprise lee solo el primer registro del origen de datos y lo pone a disposición para mapas y parámetros durante toda la vida útil de un flujo de datos. Esto hace que los objetos singleton sean útiles para proporcionar información de configuración y entorno al flujo de datos actual.

Destinos

Normalmente, utilizará los objetos de destino en su flujo de datos para escribir en una base de datos, un archivo o un servicio web. Un objeto de destino debe seguir a un objeto de origen directa o indirectamente a través de una cadena de transformaciones. Un objeto de destino no necesariamente tiene que ser el objeto final en su flujo de datos, ya que otro objeto de destino, un subflujo o un objeto de registro / perfilador puede tener éxito.

Transformaciones

Un objeto de transformación procesa y cambia los datos que viajan desde un objeto en sentido ascendente. Los objetos de transformación se pueden utilizar para convertir, combinar, filtrar, enrutar, unir, dividir, fusionar, buscar o procesar los datos entrantes. Centerprise las transformaciones son de dos tipos: transformaciones de registro único y transformaciones de conjuntos.

Transformaciones de registro único

Las transformaciones de registro único se utilizan para derivar o buscar nuevos valores utilizando valores de elementos en transformaciones o fuentes anteriores. Los resultados de las transformaciones de registro único se pueden ver agregando más valores al diseño anterior. Una función de análisis de nombre, por ejemplo, toma un nombre completo y lo divide en componentes de nombre individuales. Estos componentes pueden asignarse a transformaciones sucesivas o escribirse en un destino. Los ejemplos de transformaciones de registro único incluyen expresiones, funciones y búsquedas.

Establecer transformaciones

Las transformaciones de conjunto funcionan en el conjunto de registros y pueden combinar, enrutar, filtrar y, de otro modo, manipular un conjunto de registros. Establecer transformaciones puede cambiar el orden y el contenido de los registros en el flujo de entrada. Los ejemplos de transformaciones de conjuntos incluyen unirse, filtrar, enrutar, ordenar, unir y más.

Transformaciones de bloqueo

Las transformaciones de bloqueo acumulan algunos o todos los registros antes de procesar estos registros. La transformación de ordenación es un ejemplo. Espera a que finalice la entrada antes de ordenar y liberar registros. Otras transformaciones de bloqueo incluyen unirse, agregar y denormalizar.

Recursos

La categoría Recursos proporciona acceso a objetos de contexto y parámetros, así como a conexiones de bases de datos compartidas. Estos objetos son útiles para parametrizar un flujo de datos. Pasan valores desde fuera del flujo de datos o utilizan valores del contexto del trabajo, como el nombre del servidor o el ID del trabajo programado. Se puede acceder directamente a los valores que provienen de objetos de contexto y parámetro, así como a los campos en fuentes singleton, en muchos lugares a lo largo del flujo de datos utilizando la notación de reemplazo de parámetro $ ( ). Los objetos de conexión compartida ofrecen la posibilidad de utilizar una única conexión y, opcionalmente, una única transacción para varios destinos. Esto permite a los usuarios escribir en varios destinos en la misma transacción y revertir toda la transacción si es necesario.