El automatizado, Sin código Pila de datos
Aprende cómo Astera Data Stack puede simplificar y agilizar la gestión de datos de su empresa.
Mejores prácticas para un diseño de arquitectura escalable de Data Mart
Escalable data mart El diseño de la arquitectura puede reducir el riesgo de pérdida de datos, así como los costos y el tiempo de implementación, ya que se enfoca principalmente en un subconjunto de datos en lugar de datos empresariales completos. Por lo tanto, los data marts a menudo se consideran uno de los mecanismos más efectivos para brindar un soporte de decisiones rápido y consistente.
Aunque una despensa de datos disminuye significativamente el riesgo asociado con el desarrollo de un sistema de soporte de decisiones (DSS), necesita competencia y experiencia para implementar uno correctamente.
En este artículo, comenzaremos brindando la definición de un data mart, discutiremos algunos ejemplos y luego profundizaremos en una lista compilada de las mejores prácticas que lo ayudarán a diseñar fácilmente una arquitectura de data mart escalable e independiente para sus necesidades comerciales.
Desde cero
Definición de Data Mart
Data mart se define como una versión abreviada o condensada de una empresa almacenamiento de datos. Extrae información de un número menor de recursos en comparación con un almacén de datos. La arquitectura de data mart se adapta a las necesidades de unidades de negocios, funciones o departamentos muy específicos.
Marts de datos explicados
¿Por qué una empresa necesita Data Mart?
Hay múltiples beneficios de desarrollar una arquitectura de data mart independiente para usuarios comerciales, tales como:
- Al reducir el volumen de datos, una despensa de datos ayuda a mejorar el tiempo de respuesta del usuario y ofrece un acceso rápido a los datos de uso frecuente.
- Es fácil de implementar con un costo mucho menor, en comparación con la implementación de un almacén de datos completo.
- Es escalable y ágil, lo que resulta útil a la hora de cambiar de modelo.
- Los datos se segregan en la despensa de datos, lo que permite un mayor control sobre los derechos de los datos, es decir, quién puede ver y modificar los datos.
- Los datos se pueden almacenar y organizar en distintas plataformas de hardware o software.
Mejores prácticas para el diseño de arquitectura de Data Mart
Para garantizar la eficiencia y la escalabilidad de la arquitectura de data mart de su empresa, siga estos consejos de diseño del almacén de datos.
1. Definir el alcance de Data Mart
Antes de saltar a la fase de implementación de su modelo de data mart empresarial, es esencial contar con un plan infalible que tenga en cuenta todas las necesidades y prioridades comerciales de todos los miembros del equipo y usuarios finales.
Comience describiendo el alcance del proyecto, destacando todos los riesgos y limitaciones. Ayudará a establecer las expectativas correctas y estimar los gastos.
Es posible que tenga que ajustar los requisitos con respecto a los recursos (como recursos humanos, técnicos y financieros) para mantenerse al día con la fecha de finalización planificada.
A la luz de este alcance, desarrolle la lista de entregables principales y asigne tareas a su equipo.
2. Preste atención al modelo lógico de data mart
Un modelo de data mart lógico es un diseño teórico e intangible que organiza los datos en términos de relaciones lógicas conocidas como entidades y atributos. Una entidad es un elemento de datos, mientras que un atributo ayuda a definir la exclusividad de la entidad.
Al diseñar la arquitectura del data mart, concéntrese en las necesidades de su negocio. Asignar datos de origen a información orientada a temas en el destino data mart esquema. La fuente modelo de datos y los requisitos del usuario final son los elementos esenciales utilizados para diseñar un esquema de data mart.
Es posible que deba modificar la implementación física del modelo de datos lógico en función de los parámetros del sistema, como el tamaño de la computadora, el número de operadores, el almacenamiento en disco, el tipo de red y el software.
3 Identificar datos relevantes
En general, los elementos de datos se identifican en función de los requisitos comerciales. Sin embargo, a menudo tendrá que mirar más allá de las solicitudes del usuario final y esperar los próximos requisitos.
Un buen consejo es comenzar con los factores comerciales relevantes para su área temática y críticos para su departamento. Por ejemplo, si está diseñando un modelo de data mart para su departamento de ventas y marketing, los factores clave pueden ser el cliente, la ubicación, el producto, las ventas y las promociones. Además, considere si está interesado en registros mensuales, diarios o semanales.
Luego, genere una lista de campos de datos críticos en función de las necesidades planteadas por los operadores de data mart. Por ejemplo, algunos campos de interés en el mercado de datos de marketing podrían ser nombres de productos, características de promoción, áreas y países.
También debe dividir los datos en métricas numéricas (llamadas hechos) y registros descriptivos (llamados dimensiones).
Fuente: xenonstack
4 Limitar las fuentes de datos
Una vez que haya enumerado todas las dimensiones y hechos que conformarán el modelo de data mart, el siguiente paso es identificar las fuentes que alimentar el repositorio. Estas fuentes pueden incluir bases de datos, archivos de Excel, archivos delimitados, etc.
A continuación, proceda a mapear dimensiones para buscar tablas en su sistema operativo, mientras que, y los hechos se pueden asignar a tablas de transacciones.
También puede descubrir que algunos de los datos requeridos no se pueden asignar. Esto generalmente ocurre cuando los campos en el sistema de origen no son consistentes con los grupos de datos requeridos en el data mart.
Por ejemplo, en una empresa de telecomunicaciones, las llamadas telefónicas se pueden agrupar por código de área, pero el centro de datos requiere datos en términos de código postal. Ahora es difícil mapear estas dimensiones, ya que un código de área se compone de muchos códigos postales, y un código postal puede incluir varios códigos de área. En esta situación, la traducción de datos a un formato de sistema común podría implicar un procesamiento costoso.
5 Diseña el esquema estelar
Al crear un esquema en estrella, es esencial describir la relación entre las tablas de hechos y dimensiones. Esto se hace usando claves que incluyen columnas simples o múltiples, haciendo que la fila dentro de una tabla sea exclusiva. Una clave primaria que incluye varias columnas se conoce como clave compuesta o concatenada.
Para vincular los hechos y las dimensiones, es bueno usar claves sustitutas en lugar de la clave principal de la tabla de origen real. Permite al administrador de la despensa de datos controlar las claves dentro del entorno de data mart, incluso si las claves cambian en el sistema operativo.
Una clave sustituta es una serie de enteros creados por el sistema que se pueden incluir en la tabla de dimensiones junto con la clave primaria. Ofrece más beneficios en comparación con una clave primaria porque esta última suele ser una larga cadena de caracteres. Mientras que una clave primaria incluye enteros, por lo que mejora el tiempo de respuesta de la consulta.
Un último pensamiento
Con el tiempo, es probable que aumente el volumen de datos de su data mart independiente. Por lo tanto, es esencial tener en cuenta el factor de escalabilidad al implementar físicamente su modelo de data mart lógico. Para satisfacer los requisitos de escalabilidad, considere minimizar las restricciones de factores como el tamaño del hardware, la capacidad del software y los anchos de banda del sistema.
Diseño de una arquitectura de data mart es un proceso complejo que implica varios pasos que requieren mucho tiempo y, en ocasiones, costos sustanciales. Al seguir las cinco mejores prácticas mencionadas en este artículo, puede reducir las posibilidades de errores y acelerar el proceso de diseño.
