Modo de optimización de empuje en Astera Centerprise

By | 2019-10-08T12:56:24+00:00 3rd junio, 2019|

Proceso ELT que complementa el enfoque ETL tradicional para mejorar el rendimiento y resultados ágiles

Introducción

ETL (Extraer, Transformar, Cargar) y ELT (Extraer, Cargar y Transformar) son dos enfoques para la manipulación de datos que a menudo se confunden con sustitutos. La situación en la que se utiliza cualquiera de los dos enfoques depende de múltiples factores, como el tipo de base de datos de origen y destino, la capacidad de procesamiento del servidor de la base de datos, el volumen de datos y la complejidad de las transformaciones. En última instancia, el objetivo es permitir que los usuarios muevan datos de manera eficiente en grandes volúmenes.

ELT se diferencia de ETL en función de la ubicación del proceso de transformación. En un proceso ETL, los datos se transforman en el área de almacenamiento que generalmente se coloca entre los sistemas de origen y destino (almacén de datos). Por el contrario, en un proceso ELT, las transformaciones tienen lugar dentro de la base de datos de destino. El motor de base de datos que alimenta el sistema de gestión de base de datos (DBMS) realiza las transformaciones en un proceso ELT mientras que las transformaciones ocurren en una tercera máquina en un proceso ETL. Las transformaciones en ETL generalmente se llevan a cabo en un servidor de base de datos relacional que está separado física y lógicamente de los sistemas de origen y destino. Esto se hace para minimizar el impacto de la actividad periódica de ETL en los sistemas de origen y destino.

ETL - Enfoque de extracción, transformación y carga

Las empresas recopilan y combinan datos de múltiples fuentes, lo que resulta en una heterogeneidad en las plataformas y formatos de datos. Un software de ETL lleva los datos de origen al servidor para su transformación y escribe los datos transformados en el destino. También realiza verificaciones de integridad en los datos entrantes.

Una herramienta ETL es una parte importante de la construcción de un almacén de datos. Se puede usar para extraer solo la información relevante, analizarla y validarla para que se ajuste al formato estándar de la empresa y, finalmente, cargar datos estructurados y limpios en un almacén de datos. Dado que los datos cargados en el almacén de datos ya se han limpiado y transformado, resulta más fácil para los usuarios empresariales analizarlos.

ELT - Enfoque de extracción, carga y transformación

En ciertas situaciones, en lugar de mover volúmenes de datos a un sistema de software ETL, los usuarios pueden maximizar el rendimiento al colocar las tablas de preparación dentro de la base de datos de destino. El beneficio principal de un enfoque ELT es que es efectivo en el tiempo porque carga los datos directamente en el destino y delega el procesamiento al DBMS. Esto reduce el tiempo entre la extracción y el proceso de carga y, como resultado, los datos están disponibles para el usuario final. Sin embargo, dado que los datos no transformados se cargan en los sistemas de destino, la interfaz visual nítida es el costo de oportunidad del tiempo reducido de entrega de datos. El analista de Gartner Mei Yang Selvage dice que "ELT es principalmente apropiado para cargas de trabajo con transformación y limpieza limitadas".

Modo de optimización de empuje

¿Qué es el modo de optimización de empuje?

El modo Pushdown en Astera Centerprise permite a los usuarios elegir dónde ocurre el procesamiento de datos presionando la lógica de transformación hacia la base de datos de origen o destino cuando residen en el mismo servidor. Esto elimina el movimiento innecesario de los datos, reduce la latencia de la red al ofrecer resultados ágiles y mejora el rendimiento general.

¿Cómo funciona la optimización de pushdown?

La necesidad de extraer y migrar grandes volúmenes de datos, desde sistemas de origen a un servidor de terceros para transformaciones, hace que los usuarios pierdan un tiempo valioso. Cuando la base de datos de origen y la base de datos de destino están en el mismo servidor, los usuarios pueden ahorrar tiempo al evitar el movimiento innecesario de datos. La ejecución de un trabajo en modo pushdown transfiere la lógica de transformación a la base de datos de origen o destino. En lugar de ejecutar el
La lógica de transformación en partes extrae la información del origen, aplica las transformaciones y luego la carga en el destino. Los comandos se emiten y ejecutan a través de consultas SQL consolidadas generadas automáticamente. Cuando las empresas necesitan un procesamiento masivo de datos, este enfoque produce importantes beneficios de rendimiento al eliminar los movimientos de datos entre la base de datos y el servidor ETL.

Tipos de modo de optimización de empuje

Hay dos tipos de modos de optimización de pushdown:

  1. Modo de optimización de pushdown completo
  2. Modo de optimización de empuje parcial

Astera CenterpriseEl algoritmo inteligente decide si el rendimiento del trabajo se optimizará ejecutándolo en una optimización de empuje parcial
Modo o modo de optimización de empuje completo. La figura 3-4 muestra consultas SQL para trabajos que se ejecutan en modos de optimización de pushdown parcial y total.

La parte resaltada en la figura 3 es la parte del trabajo que se ejecuta en el modo pushdown. Este ejemplo solo empuja parcialmente la lógica de transformación (transformación agregada) a la base de datos de origen, por lo que se conoce como empuje parcial.

El pushdown completo, por el contrario, se refiere a ejecutar un trabajo en modo pushdown de principio a fin. La figura 4 muestra un ejemplo de un trabajo ejecutado en pushdown completo modo.

Una cosa importante a tener en cuenta aquí es que las consultas SQL correspondientes (en ambos modos) se generan automáticamente sin la necesidad de secuencias de comandos o codificación manual.

Verifique la función de trabajo de inserción en Astera Centerprise

No todos los trabajos se pueden ejecutar en el modo pushdown. Por ejemplo, si los destinos de origen y destino no están en la misma base de datos relacional, la extracción de datos y el paso de transferencia no se pueden eliminar. Además, ciertas lógicas de transformación como 'buscar', el análisis de nombre y dirección o el procesamiento complejo de cadenas no pueden ser empujadas hacia abajo.

Verifique la función de trabajo de pushdown en Astera Centerprise identifica las lógicas de transformación y las sentencias de SQL que se pueden enviar a la base de datos de origen o destino.

Proveedores de bases de datos admitidos en el Astera Modo de optimización de empuje

In Astera Centerprise, El modo de optimización de Pushdown es compatible con los siguientes proveedores:

1. MSSQL
2. Postgres
3. Oráculo
4. SQL
5. MySQL (versión 7.3)

Conclusión

En lugar de comparar ETL y ELT (optimización de pushdown) como diferentes enfoques para lograr los mismos resultados, considérelos como diferentes herramientas diseñadas para satisfacer diferentes necesidades comerciales. Ambos enfoques tienen sus beneficios y limitaciones, por lo tanto, utilizarlos como herramientas complementarias en lugar de sustitutos producirá mejores resultados para su negocio. Astera Centerprise Ofrece ambas capacidades. Los usuarios pueden decidir sobre el enfoque considerando los factores que afectan el procesamiento general de datos.

¿Quieres probar la función de optimización de pushdown en Astera Centerprise? Descarga una prueba gratis Para integrar volúmenes masivos de datos a velocidades increíbles.