Definición de malla de datos: principios, arquitectura y beneficios

Las organizaciones de hoy están acumulando datos más que nunca. Los enfoques tradicionales de gestión de datos, como los almacenes de datos centralizados y los mercados de datos aislados, luchan por seguir el ritmo del volumen, la velocidad y la variedad de información en constante aumento. La complejidad de los entornos de datos modernos está superando las capacidades de estos sistemas heredados y exige una solución más ágil y distribuida. 

Participar Malla de datos, un enfoque descentralizado para la gestión de datos que promete revolucionar la forma en que las organizaciones maximizan el valor de sus activos de datos. 

Si su equipo está abrumado por interminables solicitudes ad hoc, lidiando con fuentes de datos dispares o anhelando una infraestructura de datos más ágil, su organización podría estar lista para una malla de datos. 

¿Qué es una malla de datos? 

"A malla de datos es un enfoque moderno para la gestión de datos que descentraliza la propiedad y el control. En lugar de un lago de datos centralizado, los datos se organizan por dominio empresarial (como marketing, ventas o servicio al cliente) y los equipos responsables de esos datos son dueños de su ciclo de vida.. 

El arquitectura de malla de datos conecta varias fuentes de datos en una plataforma unificada y al mismo tiempo otorga a los expertos del dominio control sobre el acceso, el uso y el formato de sus datos. En pocas palabras, transforma los datos de un recurso pasivo a un activo estratégico, fomentando una cultura basada en datos. 

¿Cuáles son los principios clave de Data Mesh? 

Su organización debe implementar los siguientes cuatro pilares de malla de datos adoptar el enfoque descentralizado. 

1. Propiedad orientada al dominio  

En el contexto de una malla de datos, un dominio es un grupo de individuos unidos por un objetivo comercial compartido. La malla de datos postula que cada dominio debe poseer y administrar sus datos, metadatos y políticas asociadas.  

En lugar de canalizar datos de fuentes dispares hacia una plataforma centralizada, distribuciónibutado malla de datos aboga por una gestión de datos descentralizada y alineada con las funciones empresariales. Aquí, los equipos de dominio administran, transforman y entregan de forma independiente sus conjuntos de datos en un formato fácil de usar.  

Por ejemplo, una organización minorista podría establecer dominios separados para productos de ropa y el comportamiento de los visitantes del sitio web. 

2. Datos como producto 

Los dominios producen productos de datos, que los dominios descendentes o los usuarios finales consumen para generar valor comercial. A diferencia de los mercados de datos tradicionales, los productos de datos son autosuficientes y administran su propia seguridad, linaje e infraestructura. Esta clara propiedad y responsabilidad permite que los productos de datos se conviertan en componentes básicos de otros productos de datos o apoyen directamente iniciativas de inteligencia empresarial y aprendizaje automático. 

Las implementaciones exitosas de malla de datos requieren una mentalidad de producto por parte de los equipos de dominio. Deben ver sus conjuntos de datos como productos y al resto de la organización como sus clientes. 

3. Infraestructura de datos de autoservicio como plataforma  

Una arquitectura de datos distribuida requiere canalizaciones de datos independientes para que cada dominio limpie, filtre y cargue sus respectivos productos de datos. Data mesh introduce una plataforma de datos de autoservicio para agilizar este proceso y evitar la redundancia. Aquí, los ingenieros de datos construyen una base tecnológica que permite a todas las unidades de negocio procesar y almacenar sus productos de datos. 

Este enfoque establece una clara división del trabajo: los equipos de ingeniería de datos se centran en la gestión de la tecnología, mientras que los dominios son propietarios de sus datos. En este caso, el éxito de una plataforma de datos de autoservicio se mide por el grado de autonomía que otorga a los dominios en la gestión de sus activos de datos. 

4. Gobernanza Computacional Federada 

Distribuido duna malla permite un modelo de responsabilidad compartida para la seguridad dentro de las organizaciones. Si bien el liderazgo establece estándares y políticas generales, los dominios individuales mantienen autonomía en la implementación de estas pautas para satisfacer sus necesidades. Este enfoque descentralizado permite a los dominios innovar mientras se adhieren a los principios de seguridad organizacional. 

¿Qué es la arquitectura de malla de datos? 

Para visualizar lo que se muestra arriba diagrama de arquitectura de malla de datos, debemos considerar tres principales componentes de malla de datos:  

1. Fuentes de datos 

Las fuentes de datos representan la base de una malla de datos. Estos repositorios, que a menudo se asemejan a lagos de datos, acumulan datos sin procesar de diversos orígenes, como redes de IoT en la nube, comentarios de los clientes o web scraping. 

2. Infraestructura de malla de datos   

Una infraestructura de malla de datos permite compartir datos sin problemas en toda una organización, lo que hace que la información esté disponible para todos los departamentos. Los dominios conservan la propiedad de sus datos al tiempo que facilitan su accesibilidad a otros departamentos. Esto se logra mediante una combinación de plataformas de datos de autoservicio y gobernanza federada. Las plataformas de autoservicio confían a dominios la tarea de ingerir, procesar y servir sus datos de forma independiente. Mientras tanto, la gobernanza federada simultánea garantiza la coherencia de los datos y la interoperabilidad en toda la organización. 

3. Propietarios de datos 

Los propietarios de datos forman el núcleo de una arquitectura de malla de datos. Son responsables de hacer cumplir los estándares de cumplimiento, gobernanza y clasificación de los datos de su departamento. Por ejemplo, los datos de recursos humanos requieren medidas de seguridad, restricciones de uso y controles de acceso específicos. Los propietarios de datos de cada departamento definen de forma única categorías y tipos de datos para alinearse con sus operaciones. 

¿Cómo funciona un Arquitectura de malla de datos ¿Trabajo? 

Una malla de datos fundamentalmente reposiciona los datos de un subproducto a un producto. En lugar de un equipo de infraestructura centralizado, los productores de datos asumen la propiedad de sus datos.  

Un equipo de gobierno centralizado garantiza el cumplimiento de las normas y procedimientos. Si bien los equipos de dominio poseen canales ETL, un equipo de ingeniería de datos centralizado optimiza la infraestructura subyacente. 

Al igual que los microservicios, una malla de datos estructura los datos en torno a dominios empresariales, creando productos de datos autónomos. El Beneficios de la arquitectura de malla de datos. promover la flexibilidad y la interoperabilidad de los datos, lo que resulta en un consumo fluido en toda la organización para análisis, aprendizaje automático y otras aplicaciones. 

¿Cómo implementar la malla de datos? 

La malla de datos es un concepto relativamente nuevo que ganó mucha fuerza después de la pandemia. A medida que las organizaciones experimentan activamente con diferentes enfoques tecnológicos para crear mallas de datos para casos de uso específicos, está claro que la implementación a nivel empresarial aún se encuentra en sus primeras etapas. 

Si bien no existe una estrategia única para adoptar la malla de datos, podemos comenzar con los pasos iniciales que se detallan a continuación: 

Elija el proyecto piloto adecuado  

Inicie su viaje hacia la malla de datos concentrándose en un solo equipo. Este enfoque concentrado proporciona conocimientos invaluables para una implementación organizacional más amplia. Priorice un producto de datos con un impacto empresarial claro y medible. Esto le ayudará a demostrar el valor de la malla de datos desde el principio.  

Analice sus datos existentes 

Para establecer una base sólida para su malla de datos, debe comenzar catalogando exhaustivamente los datos de su organización. Este inventario sugerirá una hoja de ruta para identificar distintos dominios comerciales. Establezca reglas de armonización para garantizar una colaboración de datos fluida entre dominios. Esto implica definir estándares universales para elementos de datos, como tipos de campos, estructura de metadatos y convenciones de nomenclatura de productos de datos. 

Elija las tecnologías adecuadas 

existente de su organización almacenes de datos y los lagos de datos pueden servir como bases valiosas para una arquitectura de malla de datos. Puede reutilizar estos activos para respaldar una estrategia de datos distribuidos mediante la transición de sistemas centralizados a repositorios de datos descentralizados. 

• Tecnología en la nube 

Las plataformas en la nube ofrecen un entorno sólido para construir y escalar arquitecturas de malla de datos. Su escalabilidad inherente y rentabilidad pueden optimizar significativamente su proceso de implementación. 

• Sistemas legados 

La integración efectiva de datos es crucial para una implementación exitosa de la malla de datos. Garantizar la integridad y coherencia de los datos al incorporar datos de sistemas heredados en su propia nueva arquitectura.  

Implementar políticas globales de gobernanza de datos 

La TI central debe definir estándares generales de informes, autenticación y cumplimiento para la malla de datos. Luego, los propietarios de productos de datos pueden establecer controles de acceso granulares al gestionar sus conjuntos de datos. Si bien los productores de datos conservan la propiedad de la calidad de los datos, las políticas de gobernanza central proporcionan directrices esenciales. 

Cree su plataforma de datos de autoservicio 

Adaptar una arquitectura orientada al dominio y una infraestructura de datos de autoservicio requiere una comprensión profunda de las necesidades únicas de su organización. Las necesidades organizacionales pueden incluir estándares de calidad de datos, marcos de gobierno de datos, gestión de metadatos, capacidades de integración y preferencias de experiencia del usuario.  

Algunas organizaciones priorizan la ingesta optimizada de datos a través de herramientas, mientras que otras se centran en otorgar a los dominios control de acceso granular y visualización de datos estandarizada. 

Su plataforma de datos de autoservicio debe ser flexible y adaptable, lo que permitirá a equipos de diversos dominios crear nuevos productos de datos de forma independiente. Debe abstraer las complejidades técnicas y proporcionar componentes de infraestructura esenciales de una manera fácil de usar. Las funcionalidades principales incluyen: 

• Cifrado de datos: Salvaguardar la información sensible. 

• Esquema del producto de datos: Definición de estructura y formato de datos. 

• Gobernanza y control de acceso: Garantizar la seguridad y el cumplimiento de los datos. 

• Descubrimiento de productos de datos: Facilitando una fácil localización y acceso a través de catálogos. 

• Registro y monitoreo de productos de datos: Seguimiento del linaje y el rendimiento de los datos. 

• Almacenamiento en caché: Mejora del rendimiento de las consultas. 

Considere implementar funciones de automatización como plantillas preconfiguradas y soluciones sin código para acelerar el desarrollo de productos de datos. 

Construya una organización centrada en Data Mesh 

Si bien la tecnología y las herramientas actuales han madurado para respaldar la implementación de la malla de datos, escalar más allá de los proyectos piloto exigirá un cambio fundamental en el enfoque organizacional. Este cambio prioriza: 

• Accesibilidad y utilización de datos sobre los procesos de extracción y carga de datos. 

• Procesamiento de datos en tiempo real sobre el procesamiento por lotes retrasado. 

• Propiedad de datos descentralizada sobre el control centralizado de la plataforma de datos. 

Tradicionalmente, las opciones tecnológicas dictaban la arquitectura de datos. Una malla de datos invierte esta dinámica, colocando los productos de datos de dominio en el centro de la toma de decisiones.  

Malla de datos, lago de datos y tejido de datos 

Los lagos de datos, las mallas y las estructuras son conceptos interrelacionados que han evolucionado a partir del almacén de datos tradicional.  

Lago de datos 

A datos es un repositorio centralizado para almacenar datos sin procesar en su formato nativo, independientemente de su estructura o tipo. Aprovecha el almacenamiento en la nube de bajo costo para acomodar grandes cantidades de datos para su posterior análisis y procesamiento. 

Malla de datos 

A diferencia del lago de datos centralizado, una malla de datos promueve un enfoque descentralizado para la gestión de datos. Trata los datos como un producto, y los equipos de dominios específicos poseen y administran sus respectivos dominios de datos. Si bien puede aprovechar los lagos de datos como capa de almacenamiento, el valor central de la malla de datos reside en su modelo organizativo y de gobernanza. 

Tejido de datos 

Un tejido de datos es una capa tecnológica que unifica fuentes de datos dispares en una visión coherente. Emplea gestión de metadatos, inteligencia artificial y automatización para crear una plataforma de datos virtualizada. En comparación con una malla de datos, que se centra en la estructura organizativa, un tejido de datos prioriza la integración técnica. 

Más información: Bóveda de datos frente a malla de datos. 

¿Cuáles son los beneficios de una malla de datos? 

Democratización de datos 

 Una malla de datos democratiza los datos al descentralizar el control y capacitar a los expertos en el dominio para crear productos de datos de autoservicio. Esto rompe los silos de datos, acelera la toma de decisiones y libera a los equipos de datos para centrarse en iniciativas de alto valor. Al acceder directamente a datos personalizados, los usuarios empresariales ganan autonomía y agilidad.  

Eficiencia de costo  

La arquitectura de datos distribuidos ofrece importantes eficiencias de costos al pasar del procesamiento por lotes a la transmisión de datos en tiempo real a través de plataformas en la nube, lo que permite a los equipos ajustar los recursos computacionales según la demanda. 

Menos deuda técnica  

La gestión de datos descentralizada ofrece importantes ventajas sobre los sistemas centralizados. Al distribuir la propiedad de los datos, las organizaciones mejoran la agilidad y la capacidad de respuesta. Una arquitectura de malla de datos permite a los equipos de datos abordar las necesidades de las unidades de negocio de forma más eficaz. También mejora el rendimiento y la escalabilidad del sistema al reducir la carga en un único sistema central. 

Interoperabilidad 

Una malla de datos invita a la colaboración al establecer estándares comunes para campos de datos en diferentes dominios. Esta base compartida simplifica la integración y el intercambio de datos. Los equipos pueden conectar conjuntos de datos de manera eficiente alineando tipos de campos, metadatos y formatos de esquema. Como resultado, los consumidores de datos se benefician de un acceso optimizado a la información a través de API, lo que les ayuda a crear aplicaciones que respalden eficazmente los objetivos comerciales. 

Seguridad y Cumplimiento  

Las arquitecturas de malla de datos están diseñadas teniendo en cuenta la seguridad y el cumplimiento. Al implementar controles de acceso granulares y estándares de datos, las organizaciones pueden proteger la información confidencial y al mismo tiempo cumplir con regulaciones como HIPAA. La estructura descentralizada permite auditorías de datos eficientes, y el registro y seguimiento integrados brindan visibilidad del acceso y uso de los datos. La supervisión centralizada mejora aún más la seguridad al supervisar el intercambio de datos entre dominios. 

Mayor flexibilidad 

 Las mallas de datos destacan por su flexibilidad en comparación con sus homólogas centralizadas. Al distribuir la propiedad y la gestión de los datos a los dominios empresariales, eliminan los cuellos de botella operativos y reducen la presión sobre la infraestructura centralizada. Este modelo descentralizado ayuda a los equipos de datos a experimentar e innovar libremente, evitando que los equipos de datos centrales gestionen múltiples canales de datos. 

Descubrimiento de datos mejorado 

A distribuidos malla de datos elimina los silos de datos que a menudo se desarrollan en torno a equipos de ingeniería centralizados. Al distribuir la propiedad de los datos a dominios empresariales, se evita que los datos queden atrapados en sistemas aislados. Para asegurar capacidad de descubrimiento de datos, un marco de gestión de datos central mantiene un inventario de los activos de datos de la organización.

Malla de datos en la práctica: ejemplos prácticos y aplicaciones 

Arquitecturas de malla de datos Ofrece soporte versátil para un amplio espectro de aplicaciones de big data. Este modelo distribuido y centrado en el producto mejora varias funciones comerciales. 

Vamos a explorar some casos de uso comunes: 

Salas de trabajo 

La clave del éxito en las ventas radica en conectarse con clientes potenciales. Arquitectura de malla de datos agiliza el proceso de ventas proporcionando a los equipos de ventas los datos que necesitan cuando los necesitan. Los representantes de ventas ya no necesitan ser expertos en datos. 

Cadena de suministro y logística  

Las cadenas de suministro globales actuales generan un volumen masivo de datos de diversas fuentes, incluidos los comentarios de los clientes, los sistemas industriales de IoT (IIoT) y las representaciones digitales de activos físicos.  

Cuando los profesionales de la cadena de suministro pueden acceder directamente y analizar estos datos en tiempo real, las organizaciones pueden desbloquear conocimientos invaluables para informar la toma de decisiones estratégicas. 

Fabricación  

Tradicionalmente, los equipos de diseño e I+D operaban con datos obsoletos de los clientes. La malla de datos revoluciona esto al proporcionar acceso en tiempo real a los datos de toda la organización. Desde el desarrollo de productos hasta las operaciones de fábrica, los equipos ahora aprovechan la información en vivo para acelerar la innovación, mejorar la calidad del producto y optimizar los procesos. 

Marketing 

Expectativas del cliente están evolucionando rápidamente, con más canales como las redes sociales y las tiendas en línea impulsando la demanda de productos más rápidos y personalizados. 

Para seguir siendo competitivos, los especialistas en marketing necesitan acceso en tiempo real a diversos datos. Este proceso, tradicionalmente lento y frustrante, se simplifica con una malla de datos que proporciona acceso inmediato a los datos necesarios. 

Recursos Humanos 

Los equipos de recursos humanos gestionan cantidades masivas de datos confidenciales y complejos todos los días. El cambio al trabajo remoto ha intensificado esto Reto, a medida que los datos se vuelven cada vez más dispersos y los requisitos de cumplimiento evolucionan continuamente. 

Desde la contratación hasta la jubilación, RR.HH. necesita comprender y analizar datos de todos los rincones de la empresa. Una malla de datos mantiene estos datos firmemente seguros pero accesibles. Los equipos de recursos humanos autorizados pueden obtener la información que necesitan rápidamente sin esperar a otros ni tener que lidiar con burocracia multidepartamental y protocolos internos complejos.  

Finanzas 

Al igual que RR.HH., los equipos de finanzas también manejan datos confidenciales esenciales para una empresa. herramientas modernas como Sistemas ERP han mejorado la gestión financiera, pero los procesos obsoletos, las culturas rígidas y los grandes silos de datos a menudo los frenan. Una malla de datos cambia esto al brindarles a los equipos financieros más control sobre sus datos y permitirles trabajar de manera más eficiente. 

Tableros de Inteligencia de Negocios 

Las nuevas iniciativas comerciales a menudo exigen conocimientos de datos personalizados para medir su éxito.  

A arquitectura de malla de datos aborda este desafío proporcionando la flexibilidad para crear vistas de datos personalizadas. Esto permite a los equipos acceder y analizar rápidamente la información específica que necesitan para impulsar el rendimiento del proyecto. 

Reportes regulatorios 

Los informes regulatorios exigen un gran volumen, velocidad y precisión para satisfacer requisitos reglamentarios. La tecnología de malla de datos beneficia tanto a los reguladores como a las empresas reguladas a la hora de cumplir esos objetivos. Por ejemplo, las empresas pueden introducir activamente datos de informes en una red de datos centralizada bajo supervisión regulatoria. 

Datos de terceros 

La tecnología de malla de datos puede manejar conjuntos de datos públicos y de terceros. Puede incorporar datos externos a la malla como un dominio independiente. Este enfoque garantiza la coherencia entre los datos externos e internos. 

Apalancamiento Astera para construir una arquitectura de datos perfecta 

El proceso de maximizar los datos y aprovecharlos al máximo requiere datos que sean de buena calidad y residan en un repositorio bien mantenido: un almacén de datos. Con las herramientas y la tecnología adecuadas, la transformación de datos sin procesar en conocimientos prácticos se simplifica significativamente. Astera Constructor de almacén de datos (ADWB) ofrece una potente solución para simplificar el diseño complejo de almacenes de datos y acelerar el tiempo de obtención de valor. 

Astera Generador de almacenamiento de datos es la respuesta a los complejos desafíos del almacenamiento de datos. Con un enfoque sin código y un diseño basado en metadatos, la creación y gestión de almacenes de datos se vuelve eficiente y rápida. Con experiencia ADWB: 

• 90% más rápido modelado de datos 

• 70% reducido coste de propiedad 

• 95% más bajo costo de mantenimiento 

No dejes que la complejidad de los datos te frene. Elegir Astera para finalizar proyectos de almacenamiento de datos hasta diez veces más rápido.