Optimice el rendimiento aprovechando los subflujos como fuente en Astera Virtualización De Datos

By | 2019-09-25T11:27:40+00:00 25 de septiembre del año 2019.|

El éxito de las empresas está profundamente arraigado en su capacidad de utilizar los datos a su disposición. Y con los datos empresariales distribuidos en diferentes sistemas de origen, encontrar una estrategia que integre datos dispersos sin incurrir en altos costos o demasiado tiempo puede ser un desafío.

La virtualización de datos es uno de esos enfoques que ofrece una manera eficiente de integrar datos dispares. Se está convirtiendo rápidamente en una parte importante del tejido de información empresarial debido a su agilidad y flexibilidad.

De acuerdo con el Forrester, la virtualización de datos es crítica para resolver los desafíos empresariales relacionados con big data. También establece que el 56 por ciento de los tomadores de decisiones tecnológicas globales han implementado con éxito virtualización de datos.

Sin embargo, surge el desafío de encontrar una solución que ofrezca un alto rendimiento sin comprometer la modularidad o la reutilización. Astera Virtualización de datos La arquitectura flexible le permite optimizar sus proyectos de virtualización de datos al incluir lógicas reutilizables en componentes pequeños, como subflujos. El uso de estos objetos reduce la carga de implementación en la capa de virtualización, lo que acelera la ejecución del proyecto. a

Consideraciones de rendimiento en Astera Virtualización De Datos

El rendimiento de una solución de virtualización de datos depende de muchos factores, que van desde la diversidad y el volumen de las fuentes hasta la naturaleza y el tipo de sistema fuente.

Para comprender mejor este concepto, podemos clasificar las consideraciones de rendimiento de Astera Virtualización de datos en términos generales en tres segmentos:

Ejecución de la consulta: Corresponde a la concurrencia, el rendimiento, la latencia, etc., del procesamiento de consultas a través de la capa de abstracción para recuperar datos dispares en tiempo casi real.

Optimización de consultas: Implica el uso de estrategias híbridas para ejecutar proyectos de virtualización de datos al complementar la abstracción con el almacenamiento en caché y la optimización pushdown para mejorar el rendimiento de las consultas.

Impacto lógico: Incluye la aplicación de lógicas de transformación en la fase previa a la implementación antes de publicar la entidad como un modelo virtual en Astera Servidor de integración. Esto garantiza que el rendimiento en el nivel de implementación mejore a pesar de la complejidad de la lógica aplicada durante el etapa de diseño.

Ya hemos cubierto la ejecución y optimización de consultas en este whitepaper. Aquí, discutiremos cómo optimizar el impacto lógico en Astera Virtualización de datos mediante subflujos. Pero antes de entrar en eso, veamos brevemente subflujos.

Introducción a los subflujos

Encontrado en la caja de herramientas, en la sección de transformaciones, un subflujo es un objeto de transformación de solo salida creado como cualquier otro flujo de datos en Astera Centerprise. El objeto encapsula lógica compleja reutilizable mediante transformaciones. El diseño de salida del subflujo se usa para llenar una entidad de modelo virtual, estableciendo una conexión entre el modelo de datos virtual y el subflujo.

Si se altera la lógica de transformación dentro del subflujo, no afectará el diseño del flujo de datos. Puede llamar al subflujo modificado ingresando la ruta actualizada del archivo, y el flujo de integración actualizará automáticamente la lógica del flujo de datos. Todas las transformaciones soportadas en Astera Centerprise se puede usar en el subflujo.

Los subflujos reducen la complejidad del diseño de flujo de datos y permita la reutilización, simplificando sus flujos de integración y proyectos de virtualización de datos.

Usar subflujos como fuente en Astera Virtualización De Datos

In Astera Virtualización de datos, un subflujo funciona como una fuente dinámica que se puede utilizar como entidad en un modelo de datos virtual. Le permite crear un flujo complicado en el back-end, como fusionar dos puntos de datos o validar datos entrantes, y escribirlos en una única salida de subflujo.

Usar subflujo en un modelo de datos virtual

Figura 1: Uso de subflujo en un modelo de datos virtual

Para ilustrar esta funcionalidad con un ejemplo, consideremos un escenario en el que una empresa está consolidando datos de seis fuentes diferentes, a través de una capa virtual, para realizar análisis en sus sistemas operativos.

  • Los datos del proveedor se almacenan en una tabla de base de datos (Suministros de SQL Server)
  • Los datos del pedido están disponibles en formato de archivo delimitado (Líneas de orden)
  • Los datos de los envíos recibidos se registran en un archivo Excel (Artículos en stock y Pedidos)
  • La información sobre clientes potenciales y clientes actuales se actualiza periódicamente en Salesforce CRM (Clientes de Salesforce)
  • Las quejas de los clientes se presentan en un portal para clientes en forma de tickets de soporte en línea (REST Cliente Entradas de clientes)
Conectando todas las fuentes usando un modelo de datos virtual

Figura 2: Conexión de todas las fuentes usando un modelo de datos virtual

En este escenario, nos centraremos en el Entradas de clientes entidad, a la que se accede utilizando el subflujo como fuente. En el subflujo, aplicaremos una transformación en la fuente, en este caso los datos de Zendesk. La salida del flujo se tratará como una fuente en el modelo de datos virtuales.

Puede ver el subflujo haciendo clic derecho en el objeto.

Accediendo al subflujo

Figura 3: Acceso al subflujo

El subflujo utilizado dentro del modelo de datos virtuales.

Figura 4: el subflujo utilizado dentro del modelo de datos virtuales

La captura de pantalla anterior muestra el subflujo completo. Primero, nos hemos conectado a Zendesk a través de un objeto de cliente REST. Luego, aplicamos expresión transformación para convertir el formato de tipo de datos de entero a cadena antes de enviarlo a la salida del subflujo. Este subflujo es parte del proyecto de virtualización de datos, que se puede ver en el Proyecto Explorer barra lateral.

Empujar hacia abajo la lógica de transformación en el subflujo permite una implementación rápida de modelo de datos virtuales, mejorando el rendimiento de la base de datos virtual. Además, el consumidor obtiene una imagen completa de los datos sin preocuparse de aplicar sus propias transformaciones en la base de datos virtual.

El objeto de subflujo en Astera La virtualización de datos es una característica poderosa y modular que combina las capacidades de los flujos de datos y la virtualización para permitir un acceso rápido a los datos y un mejor rendimiento de las consultas. ¿Desea obtener la experiencia de primera mano de esta función? Descargue la versión de prueba de Astera Virtualización De Datos.