Impulse el desarrollo del almacén de datos con el modelado de datos empresariales automatizado

¿Qué pasaría si pudiera combinar el diseño y el desarrollo del almacén de datos en un proceso automatizado y sin inconvenientes que lo llevara de informes básicos a análisis avanzados de alto nivel en solo unas semanas? Bueno, obtenga el proceso de modelado de datos correcto y podrá crear una arquitectura de BI que sea rápida, escalable y ágil. Siga leyendo para obtener una visión interna de cómo hacer que el desarrollo de modelos de datos empresariales funcione para su empresa.

En esencia, los almacenes de datos están diseñados para responder preguntas comerciales. Estos pueden variar desde simples consultas descriptivas enfocadas en generar informes periódicos hasta análisis mucho más ambiciosos orientados a investigar los factores detrás de un escenario para una gestión de datos efectiva. Para obtener este tipo de inteligencia específica de su sistema de BI, debe asegurarse de que los requisitos del usuario estén estrechamente entrelazados con los conceptos comerciales durante la fase de desarrollo del almacén de datos.

La mejor manera de conectar los objetivos del usuario final con su arquitectura de datos es colocar el modelado de datos empresariales al frente y en el centro de su almacén de datos. Estos esquemas son diagramas de relación de entidad visualizados y constituyen sistemas de origen, organizándolos en una estructura optimizada adecuada para consultas rápidas y facilidad de uso. Más importante aún, muestran la lógica comercial subyacente detrás de diferentes procesos operativos en un formato comprensible de inmediato tanto para usuarios no técnicos como para desarrolladores.

Si se diseña correctamente, los beneficios de un modelo de datos empresariales se pueden obtener para toda su almacenamiento de datos. Lo ayudarán a identificar de dónde deben recuperarse los datos críticos, las plataformas que pueden admitir mejor su modelo de datos físicos y su base de datos, y cómo fluirán las canalizaciones de datos desde el origen hasta el destino.

Echemos un vistazo a algunas técnicas fundamentales de modelado de datos que son esenciales para este proceso.

Comience en la fuente

Replica tus sistemas fuente con precisión y podrías terminar con un esquema que se parece a esto

Lo primero que debe asegurarse durante el modelado de esquemas es que puede replicar los sistemas de origen en el nivel lógico con precisión.

Para hacerlo, debe identificar dónde residen sus datos críticos: ¿se encuentra en un base de datos local, un lago de datos en la nube o en una plataforma CRM como Salesforce? Por supuesto, solo las tablas específicas dentro de estas aplicaciones serán relevantes para propósitos de BI. Si ya ha estado creando informes en sus sistemas transaccionales, tendrá una buena idea sobre qué conjuntos de datos deben integrarse en su almacén de datos. En última instancia, desea asegurarse de poder ejecutar las mismas consultas que antes, sin interrupciones.

Cree un marco de metadatos estandarizado

A medida que construye modelos de datos lógicos empresariales para abarcar todas sus fuentes, metadatos debe aplicarse de forma coherente en cada uno de ellos.

En la etapa de diseño, desea:

• Establecer relaciones entre entidades utilizando claves primarias y claves externas apropiadas
• Asegúrese de que está uniendo tablas correctamente y que los tipos de relación de entidad están correctamente definidos, por lo tanto, muchos a muchos, uno a muchos, padre-hijo, etc.
• Disponga de un alias adecuado para garantizar que se devuelva el tipo / campo de entidad cuando se realiza una consulta en el almacén de datos. Por ejemplo, si establece que los Clientes y los Pedidos tienen una relación entre padres e hijos, es fácil filtrar Clientes por Pedido, pero si intenta hacerlo al revés, deberá asegurarse de que los pedidos estén vinculados a un cliente único, de lo contrario, la consulta fallará. Este problema se resuelve mediante alias.
• Las convenciones de nomenclatura para los atributos también deben estandarizarse en todo el modelo de datos de su empresa para garantizar una fácil comprensión.

Recuerde, debe asegurarse de que no haya variaciones entre los metadatos en las tablas del sistema de origen y las entidades del almacén de datos; de lo contrario, se producirán incompatibilidades cuando se llene el almacén de datos. Estas discrepancias harán que sea mucho más difícil crear mapeo de datos para mover datos del origen al destino.

Poniendo un marco de metadatos en su lugar reduce significativamente la deuda técnica creada por las variaciones en el modelo de datos y las tuberías de datos posteriores. Estas discrepancias requieren más actividades de mantenimiento y dificultan la actualización de diferentes tipos de esquemas de forma coherente. En su lugar, ha probado y probado, y lo más importante, plantillas adaptables sin escribir ningún código.

Luego, los scripts se pueden generar en función de estos modelos de datos enriquecidos con metadatos y los elementos de datos propagados directamente a una base de datos física.

Haga que su modelo de datos empresariales sea ágil

Con Agile, debería poder administrar datos e integrar cambios en su modelo de datos mucho más fácilmente que esto.

Es importante comprender que el modelado de datos no es una actividad estática. En la empresa moderna, una BI precisa y oportuna es esencial para casi todos los departamentos. Eso significa que más usuarios acceden al almacén de datos. Ahora, a medida que estos requisitos evolucionen, el consumidor de datos deberá actualizar la arquitectura existente para integrar nuevas fuentes rápidamente. Esta capacidad debe integrarse en su enfoque de diseño.

El modelado de esquemas debe centrarse en proporcionar resultados basados ​​en los requisitos comerciales actuales en lugar de crear un modelo de datos empresarial aprobado antes de que comience el desarrollo. Crear un modelo de datos que represente la totalidad de sus operaciones comerciales requeriría una cantidad significativa de tiempo y esfuerzo de diseño inicial. Tanto es así que para cuando realmente comience el desarrollo, el esquema bien puede estar desactualizado.

En un enfoque ágil, los modelos de datos se construirían de acuerdo con los requisitos actuales de BI en varias iteraciones. Supongamos que su gerente de ventas quiere comparar el desempeño en varias unidades regionales después de una reestructuración organizacional. Su equipo crearía un modelo de datos para reflejar específicamente estas reglas comerciales (también conocidas como data mart) que sería capaz de generar los conocimientos necesarios en un par de semanas. Como resultado, el almacén de datos crece gradualmente de una manera mucho más consistente. En cada fase, se produce un nuevo resultado que el usuario final puede verificar de inmediato para verificar su precisión y relevancia.

En la práctica, deben existir varios aspectos para permitir que tal enfoque prospere.

En primer lugar, los usuarios empresariales deben poder trabajar en estrecha colaboración con el modelador de datos durante todo el proceso de diseño para garantizar una alta calidad de los datos. Esto significa que el esquema debe diseñarse de manera que ambos equipos lo entiendan fácilmente para minimizar cualquier falta de comunicación.

En segundo lugar, si el proceso de diseño permite a los usuarios acceder a los sistemas de origen, seleccionar tablas relevantes y replicarlas en un modelo de datos, el tiempo de implementación se reducirá significativamente. Ahora, los consumidores de datos dispondrán de las funcionalidades necesarias para garantizar que los conjuntos de datos, sobre los que se debe informar, estén disponibles en el modelo de datos terminado. Cuando estos requisitos cambian, también se pueden agregar nuevas tablas al modelo inicial utilizando las mismas técnicas.

Un enfoque ágil de modelado de datos empresariales también debería permitir la implementación de algún sistema de control de versiones para que las actualizaciones del esquema original puedan rastrearse y monitorearse. Con varias versiones en su lugar, puede revertir cualquier modificación si es necesario.

Exponer datos según la necesidad de conocerlos

Datos para mí pero no para ti

El enfoque iterativo le permite tener una perspectiva mucho más granular de los datos entregados para propósitos de BI.

En lugar de exponer todos sus almacenes de datos en un modelo de datos empresarial que luego está abierto para el acceso de todos los miembros de la organización, diseña esquemas personalizados para cumplir con los requisitos de cada grupo de usuarios. Estos equipos pueden limitar sus consultas a conjuntos de datos relevantes y, por lo tanto, mejorar la eficiencia de sus informes y análisis. Al mismo tiempo, desde una perspectiva de seguridad de datos, la organización garantiza que la información confidencial solo esté expuesta a usuarios autorizados.

Adopte un esquema para el modelo de datos de su empresa: enfoque agnóstico

¿Qué diseño de esquema elegirás? Entonces, cuando hablamos de las mejores prácticas de modelado de datos, el esquema que viene a la mente es Modelo dimensional de Kimball. En este esquema, las tablas se organizan en una estructura aproximada en forma de estrella con una tabla de hechos central que proporciona medidas comerciales y tablas de dimensiones vinculadas que proporcionan contexto a estos números.

Esta estructura ha sido dominante en la industria durante más de tres décadas, por una buena razón. El modelo dimensional está diseñado principalmente para un rendimiento rápido de consultas y proporciona mucha flexibilidad al agregar nuevas fuentes con fines de generación de informes. También es un enfoque orientado a procesos comerciales para el diseño de almacenes de datos. En otras palabras, organiza y presenta los datos de una manera que los usuarios finales pueden comprender fácilmente.

Sin embargo, existen razones por las que los usuarios finales podrían considerar una arquitectura alternativa. Por ejemplo, un esquema en estrella tradicional incorpora muchas combinaciones, lo que puede obstaculizar el rendimiento de la consulta en algunos casos. En cambio, es posible que prefieran ir con algunas tablas anchas (muchas columnas) ya que este diseño se adapta mejor a algunas herramientas de visualización. Además, el enfoque permitiría a los usuarios finales simplificar las consultas para una sola tabla en lugar de aplicar múltiples combinaciones, lo que aumenta el riesgo de errores.

Un modelo conceptual alternativo que ha ganado una popularidad considerable en los últimos años es la arquitectura de la bóveda de datos. Este esquema da como resultado una arquitectura flexible que combina el enfoque empresarial del modelo dimensional con la escalabilidad del formato 3NF propugnado por Bill Inmon. El DV consta de hubs que representan los aspectos identificativos de un negocio, y cada uno contiene claves naturales para estos procesos. También hay enlaces que sirven como tablas interseccionales que definen relaciones de muchos a muchos entre los diferentes centros de la arquitectura. Finalmente, los satélites contienen los atributos descriptivos tanto para Hubs como para Links.

Dependiendo de sus requisitos de BI, se podría preferir cualquiera de estas arquitecturas, pero las técnicas de modelado de datos que emplee deberían permitirle diseñar y propagar diferentes tipos de esquemas con facilidad, ya sea un modelo dimensional, 3NF o una bóveda de datos.

Astera DW Builder: una herramienta de modelado de datos empresariales para el desarrollo de DW

El modelado de datos automatizado se encuentra en la base misma de ADWB

Astera DW Builder es una herramienta de automatización de almacenamiento de datos basada en metadatos que acelera radicalmente su camino hacia el desarrollo de almacenamiento de datos.

Este producto pone el modelado de datos en el centro mismo de sus capacidades. Permitiéndole diseñar modelos de datos empresariales de mejores prácticas desde cero o aplicarles ingeniería inversa a partir de sistemas de origen existentes con la misma facilidad a través de simples comandos de arrastrar y soltar.

A partir de ahí, puede enriquecer sus esquemas con especificaciones adicionales para cosas como atributos de tabla, tipos de datos, claves primarias, claves externas. En el nivel de modelo dimensional, puede definir tipos de SCD para campos dinámicos, fechas de vigencia / vencimiento y claves sustitutas para facilitar la carga y consulta efectivas. ADWB también es compatible con otros enfoques de diseño líderes, incluidas las bóvedas de datos y los modelos de datos 3NF. Estas descripciones luego se envían a un motor que automáticamente diseña todo este esquema en una base de datos física.

Trabajar lógicamente en un proceso unificado potencia el desarrollo de su almacén de datos, reduciendo los tiempos de implementación de meses o incluso años a solo días.

Este nuevo enfoque también fomenta la colaboración. Los interesados ​​no técnicos pueden comprender fácilmente las definiciones lógicas y los elementos visuales que se utilizan en un modelo de datos enriquecido con metadatos. Este conocimiento les permite participar en las implementaciones desde el inicio hasta el final, asegurando que los entregables estén mucho más alineados con sus necesidades.

El modelo de datos ahora sirve esencialmente como una capa de abstracción, lo que permite a los usuarios finales ver los datos del sistema de origen sin acceder directamente a ellos. Esta separación significa que puede proporcionar datos relevantes a usuarios específicos sin preocuparse por problemas de gobierno de datos.

Cuando llega el momento de analizar los datos entregados, los metadatos se pueden propagar a cualquier plataforma de BI donde se utilicen para identificar los conjuntos de datos que se importarán a través del modelo de datos.

Otro beneficio significativo aquí es el agnosticismo de la plataforma porque el modelo de datos de la empresa no está codificado en ninguna base de datos específica, sirve como un esquema que se puede leer y replicar fácilmente en cualquier base de datos en la nube o en las instalaciones.

Finalmente, si observa la naturaleza rápidamente fluctuante de los datos empresariales, la capacidad de actualizar y modificar los elementos de metadatos en el modelo de datos es esencial, lo que le permite iterar a gran velocidad y, por lo tanto, ajustar las canalizaciones de informes en función de las necesidades actuales de los usuarios comerciales.

Cuando se juntan todos estos elementos, se habla de un proceso rápido, ágil y verdaderamente eficiente en el uso de recursos para el desarrollo del almacén de datos.

Descubra el enfoque centrado en el modelo para el almacenamiento de datos

Descargar el documento técnico gratuito

¿Quiere ver de primera mano cómo estas funcionalidades pueden impulsar el desarrollo de su almacén de datos? Registro para nuestro próximo seminario web, donde los expertos en productos y los conocedores de la industria demostrarán el potencial de este enfoque de mejores prácticas. Tú también puedes ponte en contacto con nosotros directamente para concertar una consulta basada en sus necesidades actuales.