Aplicación de virtualización de datos en la empresa: almacenes de datos operativos

By | 2019-08-27T09:20:50+00:00 27 de agosto, 2019|

Los almacenes de datos operativos (ODS) son otro componente clave en las arquitecturas de datos de alto volumen. Al igual que las tablas de preparación, estas estructuras recopilan datos heterogéneos de toda la empresa, pero mientras que el primero solo se usa para el almacenamiento y la limpieza de datos, el segundo proporciona funciones adicionales de informes y análisis. Aunque estas capacidades pueden parecer similares a las de un almacén de datos tradicional, el ODS difiere significativamente tanto en su construcción como en su propósito.

Características de las SAO

Período de tiempo de datos

El ODS solo contiene datos a corto plazo (generalmente en cualquier lugar, desde 60 hasta 90 días), y está diseñado para entregar una instantánea actual de operaciones específicas o aplicaciones comerciales.

Granularidad de datos

Los datos de SAO generalmente se almacenan en el nivel granular más bajo para proporcionar una imagen detallada de su sistema fuente correspondiente.

Programa de carga de datos

La carga de datos en el ODS es mucho más frecuente que en otras arquitecturas de informes y almacenamiento, como el EDW. En comparación, se supone que el ODS debe mantener datos en tiempo real (o casi en tiempo real). Como resultado, las consultas dependen mucho más del tiempo y los resultados difieren significativamente según el punto de cálculo.

Método de carga de datos

El ODS se vacía y actualiza con cada carga de datos y no contiene ningún registro histórico. Los usuarios deben asegurarse de que la última versión de los registros transaccionales se cargue en el almacén de datos.

CASO

Los informes de SAO se utilizan para la toma de decisiones diarias, lo que hace que estas estructuras se adapten mejor a las necesidades de los usuarios operativos, como ejecutivos de ventas, agentes de soporte y gerentes de línea.

Complejidad y volumen de datos

Las consultas ODS generalmente son económicas y se ejecutan de manera consistente, por lo que se requiere un proceso de consulta definido.

Beneficios de integrar una ODS en su arquitectura de datos

  • Obtenga una visión integral y accesible de los procesos comerciales clave

  • Ofrece un repositorio flexible y escalable que puede almacenar y procesar datos de varios sistemas de origen diferentes

  • Informes más eficientes y específicos

  • Proporciona una versión única de los datos operativos actuales que está disponible para consultas.

  • Consultar rápidamente grandes conjuntos de datos

Aplicación de virtualización de datos a almacenes de datos operativos

Si el ODS debe servir como un reflejo en tiempo real de procesos comerciales específicos, debe contener solo datos actuales y no alterados en todo momento. La virtualización de datos puede habilitar este objetivo de varias maneras.

En la empresa moderna, los datos se generan a partir de una variedad de plataformas en una multitud de formatos, desde aplicaciones basadas en la nube hasta archivos planos y RDBMS tradicionales. Cuando se aplica la virtualización de datos, todos estos conjuntos de datos se reflejan fielmente y se abstraen en el ODS, donde se presentan como una única fuente consolidada de inteligencia. En comparación, la extracción física y la carga de datos de estos sistemas será un proceso que requiere más tiempo y recursos que puede dar lugar a cambios en el esquema de origen después de la replicación.

Otra ventaja clave del almacén de datos operativos virtualizados es que los cambios en los sistemas de origen pueden actualizarse inmediatamente en las tablas ODS. Astera La virtualización de datos contiene un sistema de almacenamiento en caché intuitivo que captura los cambios en el sistema de origen y los conserva en la base de datos. Esta vista actualizada se lleva a la ODS virtualizada en un horario definido por el usuario.

Una vez que las fuentes se han integrado en el ODS, se pueden limpiar y verificar si hay imprecisiones o redundancias. En Astera Virtualización de datos, esto se puede lograr a través de subflujos, aplicados a un modelo virtual. Los datos estandarizados pueden consultarse en tiempo real utilizando Asterapropiedad de Astera Lenguaje de consulta (AQL) que se aplica sin problemas en todos los conjuntos de datos de origen.

Almacenes de datos operativos en Astera Virtualización De Datos

Astera La virtualización de datos ofrece una serie de características que permiten a los usuarios construir e implementar rápidamente sus almacenes de datos operativos.

Fig 1: An Almacén de datos operativos construido utilizando Astera Virtualización De Datos

Higo. 1 muestra un almacén de datos operativos virtualizado que consta de varias fuentes transaccionales de toda la empresa.

Tenemos:

  • Datos del proveedor registrados en una base de datos de SQL Server

  • Información de artículos almacenados registrada en un libro de Excel

  • Detalles de formulario de pedido granular grabados en archivos delimitados

  • Detalles del pedido del cliente registrados en otro libro de Excel

  • Datos de relación con el cliente recuperados de Salesforce CRM, contenidos en una tabla de base de datos

  • Tickets de clientes recuperados del portal de soporte de Zendesk, contenidos dentro de un objeto REST Client

Como puede ver, nuestra interfaz intuitiva de arrastrar y soltar y la matriz de conectores han permitido que estas entidades se integren en el modelo con relativa facilidad.

Además, el objeto de cliente REST que se muestra arriba es parte de un subflujo en el que se han aplicado transformaciones adicionales para limpiar y preparar tickets de clientes para consultas.

También hemos utilizado nuestro nodo generador de relaciones de entidades para vincular la tabla de Órdenes a las Líneas de órdenes. Esta característica crea automáticamente relaciones entre tablas basadas en campos compartidos. En caso de discrepancias de nombres, estos campos también se pueden seleccionar manualmente en Editar relación ventana como se muestra a continuación.

Relación de entidad creada en base al campo de OrderID común

La creación de estas relaciones ayudará a los usuarios durante la fase de consumo, ya que las tablas vinculadas se pueden importar a un flujo de datos como una entidad en una fuente de consulta de varias tablas.

Fig. 2: Conjunto Tablas de origen de tabla múltiple extraídas a un libro de Excel

Ahora, si previsualizamos el resultado de este destino de libro de Excel, podemos ver que los datos de ambas tablas se han fusionado en el conjunto de datos de destino a pesar de que no se ha aplicado ninguna transformación de unión.

Líneas de orden fusionadas y campos de tabla de órdenes

Sin embargo, las consultas diarias que son típicas de las SAO se realizan mejor en el producto a través de nuestro servicio nativo. Astera Lenguaje de consulta (AQL).

Para hacerlo, simplemente verifique y publique su modelo virtual y luego cree un nuevo flujo de datos utilizando la base de datos virtual recientemente implementada como fuente.

Fuente de consulta SQL conectada a una base de datos virtual recientemente implementada

Una vez establecida la conexión, escriba su consulta personalizada en la siguiente ventana. En este caso, hemos usado la notación de puntos AQL para unir las tablas de líneas de pedido y las órdenes sin la necesidad de una costosa transformación de unión. Esto creará el mismo resultado que una fuente de consulta de varias tablas.

Unir líneas de pedido a pedidos a través de AQL en fuente de consulta SQL

La salida resultante se puede previsualizar en ADV o exportar a un destino preferido para su posterior análisis como en Higo. 3 a continuación.

Fig. 3: Salida de consulta de base de datos virtual exportada a la tabla de informes de ventas

Llevando la virtualización de datos más lejos con ADV

Quizás la ventaja más crítica que ofrece ADV es su capacidad para optimizar la publicación y el consumo de datos empresariales. En el próximo artículo de esta serie exploraremos cómo nuestra tecnología puede optimizar la entrega de inteligencia en tiempo real a los usuarios comerciales a través de análisis de autoservicio.

Si tiene un caso de uso más específico que le gustaría explorar, siempre puede contacto Nuestro equipo de ventas y soporte para una consulta privada. O bien, pruebe el producto usted mismo descargando el Versión de prueba of Astera Virtualización de datos.