Optimice la integración de datos en tiempo real aprovechando los flujos de trabajo

A Estudio por IDC predice que el volumen mundial de datos crecerá a 175 zettabytes (ZB) para 2025. Administrar volúmenes crecientes de datos de diversas fuentes puede ser una tarea complicada. Por esta razón, muchas organizaciones aprovechan las herramientas de integración de datos con capacidades de automatización de flujos de trabajo para acelerar sus procesos de datos y optimizar la integración.

Si desea consolidar datos transaccionales, migrar datos de sistemas heredados o integrar datos de socios o proveedores, el componente de flujo de trabajo en Astera Centerprise automatiza la ejecución de una secuencia de tareas, en serie o en paralelo, en múltiples servidores. Esto ayuda a minimizar la probabilidad de error, optimizar los procesos comerciales y mejorar el tiempo de valor al eliminar los pasos manuales involucrados en el diseño y la implementación de flujos de integración de datos.

Integre datos con la automatización del flujo de trabajo en Centerprise

Diseñado para ofrecer facilidad de uso y flexibilidad, el componente de flujo de trabajo ayuda a visualizar y automatizar todo el proceso, desde el momento en que los datos ingresan a una organización hasta que se limpian, validan y cargan en el destino preferido.

Automatice los procesos de datos mediante la automatización del flujo de trabajo

Encuéntralo cómo

Para ilustrar las capacidades de integración de datos de Astera Centerprise Con la automatización del flujo de trabajo, consideremos un escenario en el que una empresa recibe los datos del cliente en una hoja de cálculo todos los meses. El requisito es limpiar los datos entrantes y cargar los datos procesados ​​en el CRM de la empresa, Salesforce.com, para obtener una vista unificada.

La siguiente captura de pantalla muestra cómo funciona el flujo de trabajo en Astera Centerprise ayudó a lograr esta tarea automatizar el proceso ETLy enviar notificaciones por correo electrónico a los usuarios de información sobre la finalización satisfactoria del trabajo.

Figura 1: Uso de un componente de flujo de trabajo

Veamos los pasos involucrados en el flujo de trabajo en detalle.

Paso 1: recorrer el directorio de origen

Primero, un objeto del Sistema de archivos se usa para recorrer el directorio de origen para recoger la ruta del archivo de origen.

Figura 2: Especificación del directorio de origen

Paso 2: Realizar ETL

La tarea Ejecutar flujo de datos se usa para llamar a un flujo de datos dentro de un flujo de trabajo. En este escenario, llamaremos a un flujo de datos existente para ejecutar el proceso ETL.

Figura 3: Ejecutar propiedades de objeto de flujo de datos

Figura 4: Orquestando el proceso ETL en un flujo de trabajo

El flujo de datos se usa para extraer datos de los archivos de origen, limpiar los datos sin procesar para crear una estructura estandarizada, procesarlos de acuerdo con los requisitos comerciales y cargar los datos transformados en el CRM de la compañía, Salesforce.com, como se muestra en la figura 5.

Además, las variables de entrada y salida se definen en el objeto Variables. El primero se usa para proporcionar la ruta del archivo fuente al objeto fuente de Excel y el segundo se usa para pasar el valor del estado del trabajo al flujo de trabajo que lo contiene para la toma de decisiones, como se muestra en la imagen a continuación.

Figura 5: Proceso ETL para agilizar los flujos de trabajo

Paso 3: envío de notificaciones por correo electrónico

Una tarea de Decisión invoca una de las dos rutas en el flujo de trabajo, dependiendo de si la expresión lógica dentro del objeto de Decisión devuelve Sí (Verdadero) o No (Falso). En este escenario, el valor de la variable de salida 'Estado del trabajo' se transfiere del flujo de datos al flujo de trabajo para la toma de decisiones. Un objeto de Decisión se utiliza para enviar un correo electrónico para notificar a los usuarios cuando se completa el trabajo o copiar el archivo a un directorio si el trabajo se termina.

Figura 6: Propiedades de decisión

Figura 7: Uso de un objeto de decisión en el flujo de trabajo

Paso 4: Automatización del flujo ETL

Astera Centerprise tiene un programador de trabajo incorporado que le permite automatizar los flujos ETL y agilizar la integración de la base de datos especificando la frecuencia del trabajo. Esto elimina la necesidad de ejecutar manualmente el flujo cada vez que se recibe un archivo.

En este caso, el flujo se ejecuta cada vez que se suelta un archivo en el directorio de origen, como se muestra a continuación.

Figura 8: Programación de un trabajo

Optimice la integración con Centerprise

Los trabajos de integración de datos implican flujos de trabajo complejos que extraen, limpian y validan datos estructurados y no estructurados. La automatización juega un papel crucial en la transmisión de eventos de datos, ya que ayuda a aumentar el rendimiento y la productividad.

Usando Asteracomo componente de flujo de trabajo, puede ensamblar visualmente flujos de trabajo de cualquier complejidad y escalar y automatizar todo el proceso de integración de datos en tiempo real, desde la extracción de datos de origen hasta la transformación y carga en el almacén de datos. En caso de transmisión en tiempo real, estos datos se pueden mostrar a través de informes simultáneamente.

Agilice la integración de datos con una herramienta ETL automatizada

Ver demo

Obtenga más información sobre la integración de datos y las capacidades de automatización del flujo de trabajo de Astera Centerprise. Descarga un 14 días de prueba versión y experiencia de primera mano!