Blogs

Home / Blogs / El líder de pensamiento en datos Krish Krishnan sobre el modelado de datos automatizado

Tabla de Contenido
El automatizado, Sin código Pila de datos

Aprende cómo Astera Data Stack puede simplificar y agilizar la gestión de datos de su empresa.

Krish Krishnan, líder de pensamiento sobre datos, sobre modelado de datos automatizado

Ammar Alí

Gestor de Contenidos

3rd enero, 2022

Recientemente presentamos nuestra plataforma de automatización de almacenamiento de datos (DWA) de próxima generación, Astera Constructor DW, que ofrece un enfoque ágil basado en metadatos para crear almacenes de datos. Nuestra solución está dirigida a organizaciones que desean acelerar el ciclo de vida de su proyecto y simplificar el proceso de diseño y desarrollo del almacén de datos.

At Astera, siempre estamos enfocados en la innovación y mejora de nuestra tecnología para ofrecer la mejor experiencia a nuestros usuarios. Para obtener información más detallada sobre el modelado de datos para empresas modernas, nos pusimos en contacto con expertos y líderes de la industria para conocer sus opiniones sobre el tema.

Tuvimos una oportunidad fantástica de tener una conversación con Krish Krishnan, un líder de pensamiento visionario de datos que se encuentra entre los mejores consultores de almacenamiento de datos del mundo. Es autor de tres libros electrónicos y numerosos artículos, informes técnicos, estudios de casos y otras publicaciones sobre arquitecturas y dispositivos de almacenamiento de datos.

En nuestra discusión, compartió sus pensamientos sobre el papel fundamental del modelado de datos en la construcción de arquitecturas de BI y el potencial transformador del modelado de datos automatizado en el mundo actual. También arrojó luz sobre la importancia de un enfoque basado en metadatos. Veamos algunas conclusiones clave de la discusión:

¿Cuál es la importancia del modelado de datos en la implementación eficaz del almacén de datos?

Un almacén de datos es un depósito de todos los comportamientos transaccionales que ocurren en el sistema. Sin el modelado de datos, no se puede construir una solución eficiente desde una perspectiva de consumo. [Entonces], es esencial crear un modelo antes de pasar al consumo de datos. Significa convertir datos semiestructurados y no estructurados a formato estructurado. La recomendación es "No modele cuando ingrese el modelo, pero sí modele cuando se extraigan los datos".

¿Deben crearse modelos de datos en torno a sus datos existentes o diseñarse para reflejar el proceso empresarial subyacente?

Los datos se generan para satisfacer los resultados del proceso, por lo que el modelo de datos debe construirse en torno a los requisitos del usuario final. Significa que debe tener un modelo cuando los datos salen del almacén de datos. El modelo de consumidor empresarial debe colocarse entre el aterrizaje de datos y se debe construir una serie de transformaciones alrededor del proceso. Entonces, es una combinación de ambos.

Pero qué tan profundo y amplio le gustaría llegar es donde entra en juego la automatización. En el mundo actual impulsado por los datos, es necesario automatizar el proceso. El aterrizaje de datos en el almacén debería estar más cerca del proceso. Los datos que salen para servir una analítica deberían estar más centrados en los datos. En el medio, puede incorporar la automatización para ejecutar transformaciones y maximizar la eficiencia.

¿Es una buena idea crear un modelo de datos empresarial por adelantado?

Una solución preferida es un modelo centrado en el negocio que tomaría datos lógicos sin procesar recopilados. Por lo tanto, los datos brutos están [presentes en] una única fuente central, pero pueden servir para múltiples propósitos de estado final. Permitiría a los usuarios girar y girar modelos según sea necesario.

Ahí es donde entra en juego la centralidad de los datos. Exige que todas las personas de una organización deben comprender quién produce datos, qué vienen en datos, quién usará esos datos y cómo planean usarlos.

"Duna centralidad significa que no estás alineado con la tecnologíanología sino el proceso que se puede modelar y estudiar utilizando la capa de tecnología."

¿Debería preferirse un enfoque más iterativo para el modelado de datos?

El enfoque convencional de 'Inmon' era construir un gigante y llenarlo. Un enfoque más iterativo es un enfoque de modelado dimensional 'Kimball' que brinda la capacidad de girar bajo demanda y tener un conjunto de puntos de integración mediante los cuales puede conectar cada spin-off. Por lo tanto, no es esencial crear un esquema en estrella todo el tiempo.

Anteriormente, el diseño del esquema se basaba principalmente en un sistema de gestión de bases de datos relacionales. Eso es porque el esquema debe seguir el diseño. El sistema transaccional requiere esa disciplina. Pero es importante comprender que un almacén de datos no es transaccional, sino que almacena todo lo que sucedió en múltiples sistemas transaccionales.

An enfoque iterativo para el modelado de datos que se centraría en el negocio centrado debería ser una opción preferida.

¿Qué son las bóvedas de datos?

“Las bóvedas de datos fueron introducidas alrededor de 2010 por Dan Linstedt y Hans Hallgren, pero se hicieron notar y se hicieron populares en los últimos años a medida que más empresas se están trasladando a la nube. Los gigantes tecnológicos como Amazon, Google y Microsoft y una gran cantidad de otros proveedores que están prestando servicios con ellos están trabajando en el almacenamiento de datos debido a los beneficios que aporta.

Es una metodología mediante la cual puede llevar datos críticos que son maestros a sus sistemas. Puede ponerlos [datos] en una bóveda y protegerlos. Luego, puede acceder a él desde una billetera en una última base nativa mediante la cual puede traer diferentes tipos de datos de múltiples áreas ".

¿Cuál es el potencial transformador del modelado de datos automatizado?

Krish cree que un modelado de datos más automatizado significa que puede manejar los datos de manera más eficiente. Por ejemplo, hay una mesa de clientes lista en el sistema. Puede agregar metadatos, incluido el nombre del cliente, direcciones, ciudad, estado, país, código postal, detalles de contacto, etc. Los campos definidos ayudan a acelerar todo el proceso de documentación de esta información.

"¿Qué hace esa automatización por ti? Acelera la necesidad de intentar documentar cada requisito.t. UNtodo eso es eliminado. Guna. TEse es el nivel al que debemos automatizar."

Eso es muy cierto. El proceso de modelado de datos automatizado facilita enormemente la creación de un meta-repositorio que establece relaciones, minimiza las discrepancias e integra sistemas dispares. También elimina las inconsistencias e inexactitudes de los datos, lo que aumenta el valor de los análisis y los informes.

¿Pensamientos de despedida?

"Necesitamos comenzar a aceptar ese cambio, y el cambio significa caos. El caos es la única constante en el mundo en el que vivimos.

Puedes ver eso literalmente en el mundo en el que vivimos hoy. Entonces, da un paso atrás y pasa la semana. lea un poco, escuche algunos podcasts serios de varios proveedores y comprenda qué problemas se están resolviendo.

[Y] luego, intente poner su mente y ver cómo hace lo mismo con una nueva herramienta en su mano. esos son mis comentarios de despedida para la discusión de hoy ".

Si quieres tomar Astera DW Builder para una prueba de manejo, haga clic aquí. O, si está interesado en discutir su caso de uso de almacenamiento de datos con nuestro equipo técnico, contáctenos en este liga.

También te puede interesar
¿Qué es un catálogo de datos? Características, mejores prácticas y beneficios
Esquema de estrella vs. Esquema de copo de nieve: 4 diferencias clave
Cómo cargar datos desde AWS S3 a Snowflake
Considerando Astera ¿Para sus necesidades de gestión de datos?

Establezca conectividad sin códigos con sus aplicaciones empresariales, bases de datos y aplicaciones en la nube para integrar todos sus datos.

¡Conectémonos ahora!
conectemos