Data Mesh vs. Data Fabric: cómo elegir la estrategia de datos adecuada para su organización

Implementar una arquitectura de datos moderna e integrada puede ayudarlo a eliminar los silos de datos que hacen que los tomadores de decisiones de alto nivel pierdan información. 12 horas a la semana. Además, más de 60% Las organizaciones coinciden en que los silos de datos representan un desafío empresarial importante.

La solución es una arquitectura de datos que elimine los silos, y ahí es donde entra en juego el debate entre la malla de datos y la estructura de datos. Si bien ambas arquitecturas de datos funcionan para eliminar los silos de datos, difieren en sus enfoques (más sobre esto más adelante). Si bien tanto la malla de datos como la estructura de datos tienen sus defensores, la cuestión de cuál es mejor se reduce a las necesidades de datos únicas de su organización.

En esta publicación, aprenderá sobre la malla de datos y la estructura de datos, sus similitudes y diferencias, los pros y los contras de implementar cualquiera de las estrategias y cómo elegir entre ellas.

¿Qué es Data Mesh?

La malla de datos fue presentada por primera vez como un concepto por Zhamak Dehgani en 2019. Es un enfoque de arquitectura de datos orientado al dominio para descentralizar el análisis de datos. Malla de datos garantiza la disponibilidad oportuna de análisis de datos para múltiples equipos, eliminando datos aislados en el proceso.

El enfoque distribuido moderno se aleja de las aplicaciones monolíticas y redistribuye la propiedad de los datos entre equipos y usuarios específicos de cada dominio. Esto ayuda a sus equipos a recuperar, comprender, administrar y utilizar sus activos y pilas de datos (distribuidos en los dominios como microservicios de datos), lo que les permite dirigir iniciativas e innovación basadas en datos.

En otras palabras, la malla de datos permite que sus equipos traten los datos como un producto. Por lo tanto, en lugar de facilitar la formación de silos de datos, está capacitando a sus equipos específicos de dominio para que se apropien de sus datos y los compartan, lo que mejora la colaboración interfuncional y el intercambio de información.

Malla de datos: ¿Qué necesita?

Los siguientes principios clave guían el enfoque de malla de datos:

Propiedad de datos descentralizada y centrada en el dominio

En lugar de un repositorio centralizado como un lago o almacén de datos, la propiedad de los datos recaerá en sus equipos funcionales, como marketing o ventas. Dado que los equipos son responsables del ciclo de vida de sus activos de datos, el enfoque de malla de datos fomenta la experiencia y la responsabilidad específicas del dominio.

Tratar los datos del dominio como un producto

El enfoque de malla de datos permite a sus equipos tratar los datos como un producto. Este enfoque implica ofrecer productos de datos accesibles, fáciles de descubrir y de alta calidad a usuarios internos y externos. Al asumir el rol de propietarios de productos de datos, los equipos específicos del dominio aplican el pensamiento de producto para crear productos de datos confiables, bien documentados y fáciles de usar.

Diseño de plataforma de datos de autoservicio

La infraestructura de datos de autoservicio en una malla de datos permite que sus dominios descentralizados compartan y utilicen productos de datos de forma autónoma. Esta función automatiza la comunicación y el intercambio de información para que sus equipos puedan usar, interpretar y analizar otros conjuntos de datos específicos del dominio con un mínimo de experiencia técnica.

Gobernanza de datos unificada

Incluso con la propiedad descentralizada de los datos, el enfoque de malla de datos enfatiza la necesidad de una federación el gobierno de datos, lo que lo ayuda a implementar estándares, políticas y protocolos compartidos en todos sus dominios de datos descentralizados. La gobernanza de datos compartida es fundamental para garantizar la calidad, la seguridad y el cumplimiento de los datos sin comprometer la flexibilidad que ofrece a sus equipos el enfoque de malla de datos.

Malla de datos: casos de uso

• Asistencia al Cliente: Al adoptar el pensamiento de producto para los datos, sus equipos de dominio se aseguran de que sus datos sean comprensibles para otros equipos, proporcionando a sus equipos de marketing y soporte información completa del recorrido del cliente.
  Por ejemplo, su equipo de soporte puede utilizar información relevante de diferentes dominios para reducir el tiempo promedio de atención (AHT). De manera similar, el departamento de marketing puede garantizar que sus campañas se dirijan a los grupos demográficos adecuados mediante el análisis de datos de ventas y desarrollo comercial.
  
• Análisis de datos de alta calidad: Sus cargas de trabajo de análisis de datos reciben datos de alta calidad de múltiples dominios empresariales relevantes en una arquitectura de malla de datos. Esto permite crear paneles de BI personalizados para mostrar el rendimiento operativo, los conocimientos de marketing, los resultados de la gestión de proyectos, etc.
• Uso de datos de terceros: La malla de datos es útil en casos de uso que requieren la incorporación de conjuntos de datos externos. Puede administrar datos de terceros o públicos como su propio dominio en la malla, lo que garantiza la coherencia con sus conjuntos de datos internos específicos del dominio.

¿Qué es Data Fabric?

A diferencia de la arquitectura de malla de datos, la tejido de datos El enfoque es centralizado. Presenta un marco de gestión de datos integrado y unificado. Su organización puede acceder, gestionar y utilizar los datos de manera eficaz con Data Fabric.

La naturaleza centralizada del enfoque de Data Fabric significa que puede acceder y trabajar con sus datos, ya sea que estén almacenados en las instalaciones, en entornos híbridos o en la nube. Puede lograrlo implementando una capa de acceso integrada y sin inconvenientes en toda su red de TI.

Una característica definitoria del enfoque de tejido de datos es su dependencia de metadatos para comprender el linaje, la estructura y el valor de los datos para los equipos de su dominio.

Data Fabric: ¿Qué necesita?

Las siguientes tecnologías son cruciales para implementar la arquitectura de tejido de datos:

• Capa de datos unificada: La capa de datos garantiza un transporte seguro y sin problemas de los datos y los hace accesibles en toda la organización. La capa unificada le ayuda a garantizar la calidad y la gobernanza de los datos, al tiempo que permite un acceso y una gestión sencillos.

• Automatización e integración basadas en IA/ML: Los algoritmos basados ​​en IA o ML (aprendizaje automático) ayudan a automatizar tareas como el descubrimiento de datos, la recuperación, el reconocimiento de estructuras y el análisis de datos.
  La automatización de tareas facilita las actividades de integración de datos, ayudando a su organización a gestionar grandes volúmenes de datos complejos provenientes de distintas fuentes.

• Fundación de metadatos inteligentes: Los algoritmos basados ​​en IA o ML (aprendizaje automático) ayudan a automatizar tareas como el descubrimiento, la recuperación, el reconocimiento de estructuras y el análisis de datos. La automatización de tareas facilita las actividades de integración de datos, lo que ayuda a su organización a gestionar grandes volúmenes de datos complejos de distintas fuentes. 
• Interfaz front-end basada en API: Las API funcionan como la columna vertebral tecnológica de la arquitectura de la red de datos. Ayudan a los usuarios front-end a acceder a los datos y a la información para tomar decisiones ágiles y basadas en datos.

Data Fabric: casos de uso

La estructura de datos es un enfoque popular porque resuelve muchos problemas en la gestión y el análisis de datos distribuidos en múltiples ubicaciones y sistemas. Al ofrecer un entorno de datos unificado e integrado, agiliza la gestión del acceso a los datos, mejora la calidad de los datos y ofrece información basada en datos en tiempo real.

• Vista de datos holística: Supongamos que su organización está distribuida en varias categorías y maneja datos de distintas fuentes. Data Fabric proporciona una vista unificada de los datos, lo que permite a sus equipos acceder a información relevante y, al mismo tiempo, proporciona una comprensión integral del negocio.
• Reducción de carga OLTP: Las bases de datos OLTP (procesamiento de transacciones en línea) se utilizan en sectores como el comercio minorista y el financiero. Data Fabric puede ayudar a reducir la carga de las bases de datos OLTP transfiriendo consultas analíticas a Data Fabric.
• Información en tiempo real: La implementación de una estructura de datos puede brindar a su organización información en tiempo real, lo que lleva a una toma de decisiones basada en datos en todas las funciones de su organización.

Data Mesh vs. Data Fabric: consideraciones clave

A continuación se presentan algunas consideraciones a tener en cuenta al elegir qué arquitectura implementar para satisfacer las necesidades de gestión de datos de su organización:

	Malla de datos	Tejido de datos
Escala y Complejidad	Ideal para pilas de datos complejas y de gran escala donde varios equipos trabajan independientemente pero comparten información.	Ideal para organizaciones que buscan una plataforma de datos unificada y centralizada, independientemente de la escala y la complejidad.
Estructura organizativa	Los equipos tienen la propiedad y la gestión de los datos. Adecuado para organizaciones con autonomía y colaboración interfuncional.	Organizaciones con una estructura centralizada de gestión de datos y TI y fuentes de datos y almacenamiento híbridos.
Gobernanza y seguridad de datos	La gobernanza y la seguridad de los datos dependen de la propiedad y la responsabilidad de los datos por parte de los equipos de dominio. Aplicar políticas en varios departamentos es complicado.	La seguridad y la gobernanza de los datos están centralizadas. Es fácil aplicar políticas en toda la organización.
Tiempo de implementación	Requiere propiedad de datos, pensamiento sobre el producto e infraestructura para cada equipo y por parte de cada uno. La implementación puede llevar más tiempo.	Con recursos de ingeniería de datos centralizados y técnicamente sólidos, se puede implementar en un período más corto.

Pros y contras de implementar cada estrategia de datos

Si bien ambos enfoques ofrecen posibles beneficios, también tienen ciertas desventajas, principalmente cuando se implementan de manera aislada. Veamos las ventajas y desventajas de implementar cada estrategia:

Pros y contras de la implementación de Data Mesh

Ventajas

La naturaleza descentralizada de la malla de datos le permite:

• Amplíe eficazmente los esfuerzos de gestión de datos de su organización,
• Distribuir la responsabilidad y propiedad de los datos entre los equipos de dominio,
• Elimina cualquier cuello de botella y SPOF (punto único de fallo),
• Y mejorar la agilidad y la capacidad de respuesta a los cambios en los requisitos internos y externos.

Inconvenientes

Por el contrario, la implementación de una malla de datos también puede conducir a:

• Desafíos en la colaboración y coordinación,
• Mayor complejidad en la pila de datos,
• Falta de coherencia en las prácticas de datos entre los equipos de dominio,
• Y una confianza excesiva en la estandarización de datos.

Pros y contras de la implementación de Data Fabric

Ventajas

Data Fabric centraliza sus esfuerzos de gestión de datos, lo que puede ayudar a:

• Simplifique las operaciones de datos en toda la organización,
• Optimice la integración, el acceso, el procesamiento y el almacenamiento de datos.
• Permitir la implementación consistente de políticas de gobernanza, calidad y seguridad de datos.
• Haga que las cargas de trabajo de análisis e informes sean más eficientes,
• Y optimice la utilización de recursos reduciendo el procesamiento y almacenamiento de datos redundantes.

Inconvenientes

Por otro lado, la centralización de una estructura de datos puede conducir a:

• Formación de cuellos de botella con grandes volúmenes de datos,
• Respuesta lenta a los cambios específicos del dominio,
• Dependencia de un equipo central, lo que compromete la toma rápida de decisiones,
• Desafíos de escalabilidad para empresas más grandes con altas demandas de datos,
• Restricciones a la innovación y experimentación debido a la baja autonomía del equipo,
• Y la complejidad en el manejo de diversas tecnologías y fuentes de datos.

Data Mesh vs. Data Fabric: ¿Cómo elegir la estrategia de datos preferida por su organización?

Para elegir la arquitectura de datos adecuada para su organización, debe:

1. Evalúe sus necesidades de datos. Esto incluye su estrategia de datos, sus necesidades de acceso y gestión de datos y la infraestructura existente.
2. Consideremos los factores sociotécnicos. Estos incluyen la estructura del equipo de dominio, la cultura y las capacidades técnicas de su organización.
3. Realizar una evaluación de madurez de los datos. Esto puede ayudarle a identificar las debilidades y fortalezas de su ecosistema de datos.
4. Comparar las diferentes arquitecturas. En este punto, la elección sería entre dos o tres opciones, como malla de datos versus tejido de datos o Bóveda de datos vs. malla de datos.

Es esencial realizar una evaluación adecuada a lo largo de estos pasos antes de tomar la decisión final.

Sin embargo, malla de datos Puede ser una buena opción si desea:

• Descentralice su plataforma de datos,
• Potencie la propiedad y la gestión de datos de sus equipos de dominio,
• Mejorar la colaboración interfuncional y el intercambio de datos.
• Aumentar la capacidad de respuesta a los desafíos específicos del dominio,
• O cumplir con estrictos protocolos de gobernanza y calidad de datos.

Estructura de datos Puede ser una buena opción si desea:

• Elimine los silos de datos y obtenga una vista unificada de los datos,
• Gestionar entornos de datos multicloud o híbridos,
• Utilice las sólidas capacidades de integración de datos existentes,
• Or Modernizar un almacén de datos heredado.

Una palabra final

Tanto la malla de datos como la estructura de datos son enfoques que ofrecen ventajas únicas si busca mejorar la gestión y el análisis de datos de su organización. Sin embargo, difieren en sus principios clave (centralización frente a descentralización). Dado que las posibles ventajas también difieren, la elección depende del ecosistema de datos de su organización.

Aun así, la solución no es necesariamente un debate entre la malla de datos y la estructura de datos. Puede ser un enfoque combinado para las necesidades de arquitectura de datos específicas de su organización. El objetivo no es solo abordar sus requisitos de datos inmediatos e implementar un sistema que ayude a su organización a navegar por el panorama dinámico de datos. Ahí es donde Astera entra en juego.

Astera Puede ayudarle a decidir e implementar la arquitectura de datos adecuada para su organización. AsteraLa pila de datos automatizada sin código de permite a su organización construir, implementar, administrar y escalar de manera eficiente su ecosistema de datos.

Solicite una demostración personalizada para aprender cómo Astera Puede ayudar con las necesidades de arquitectura de datos de su organización.