El automatizado, Sin código Pila de datos
Aprende cómo Astera Data Stack puede simplificar y agilizar la gestión de datos de su empresa.
Un enfoque automatizado para modelar sus dimensiones que cambian lentamente
Los datos comerciales son inherentemente susceptibles de cambiar con el paso del tiempo e impactan el negocio de diferentes maneras. En los almacenes de datos, el efecto del tiempo en nuestros registros y hechos de dimensión requiere un estudio cuidadoso para que el repositorio cumpla con el objetivo de inteligencia comercial de brindar información actualizada a los tomadores de decisiones.
La pregunta es, ¿cuál es la mejor manera de manejar estos cambios?
Desarrollar una tabla de dimensiones o un modelo que capture los diferentes estados de sus datos con respecto al tiempo es un objetivo clave de un Enterprise Data Warehouse. Para las medidas en nuestras tablas de hechos, podemos usar dimensiones de fecha y vincularlas usando claves foráneas. Para las dimensiones, la complejidad del manejo de cambios aumenta considerablemente. Cada paso del flujo de Dimensión de cambio lento (SCD) debe codificarse a mano utilizando múltiples instrucciones SQL complejas. La implementación es larga y compleja, y afecta la capacidad de la empresa para mantener sus datos de manera rápida y confiable, lo que siempre es una consideración crítica.
Cambiando lentamente las dimensiones en Astera Centerprise
En comparación con el enfoque tradicional codificado a mano para el flujo de dimensión que cambia lentamente, Astera ofrece una implementación automatizada utilizando una interfaz completamente de arrastrar y soltar. Los datos del sistema de origen se asignan a un objeto SCD en Centerprise, que empuja las declaraciones SQL generadas por el sistema directamente al almacén de datos de destino (Leer: Modo de optimización de empuje en Centerprise) basado en los diseños de campo definidos por el usuario. Cada columna en la tabla del usuario puede ser designada como Clave Subrogada, Clave Comercial, SCD1, SCD2, etc. (ver más abajo) dentro de las propiedades del componente en Centerprise. La plataforma maneja la estrategia de actualización, las consideraciones de rendimiento, el enrutamiento y las uniones complejas automáticamente en el backend, siempre que los tipos de campo SCD estén definidos correctamente.
Automatización de la implementación de dimensiones que cambian lentamente de tipo 1 y 2
Centerprise admite la Dimensión de cambio lento Tipo 1 y Tipo 2 para actualizar registros con y sin mantenimiento del historial.
SCD Tipo 1
Este tipo se ocupa de las actualizaciones en la tabla dimensional, para los casos en que la preservación del historial no es una consideración y debe reemplazar los valores antiguos en su tabla con los recientes.
Para usar el tipo de cota de cambio lento 1 en Centerprise, puede marcar su columna como 'SCD1 - Actualizar' en el menú Campos de diseño del objeto SCD en Centerprise.
SCD Tipo 2
Este tipo se ocupa de los cambios en su dimensión que deben ser rastreados. Se inserta un nuevo registro con cada cambio, y el registro existente se marca como caducado, por fecha, versión o estado.
Para usar el tipo de cota de cambio lento 2 en Centerprise, marque la columna elegida como 'SCD2: actualizar e insertar'.
Optimización Push-Down
Una vez que se define el diseño y se ejecuta el flujo, el Astera La transformación SCD genera el código SQL necesario para comparar, unir, enrutar e insertar datos en su dimensión de destino y envía la lógica de transformación a una base de datos, como SQL Server, para su procesamiento.
Con este enfoque, el mantenimiento de atributos de grandes dimensiones es significativamente más rápido porque todo el procesamiento lo realiza la base de datos en lugar de la base de datos. Centerprise El servidor realiza las operaciones y va de un lado a otro entre la base de datos para leer, comparar y escribir los datos.
Para obtener más información sobre el componente automatizado de Dimensiones que cambian lentamente en Centerprise y cómo usarlo para administrar sus dimensiones, descargue el documento técnico: Cómo gestionar el cambio lento de dimensiones usando Centerprise.
