Data Mesh vs. Data Fabric : comment choisir la stratégie de données adaptée à votre organisation

La mise en œuvre d'une architecture de données moderne et intégrée peut vous aider à éliminer les silos de données, qui font perdre aux décideurs de la haute direction 12 heures par semaine. En outre, plus de 60% des organisations conviennent que les silos de données représentent un défi commercial important.

La solution réside dans une architecture de données qui élimine les silos, et c'est là qu'intervient le débat entre maillage de données et structure de données. Bien que les deux architectures de données visent à éliminer les silos de données, elles diffèrent dans leurs approches (nous y reviendrons plus tard). Bien que les approches de maillage de données et de structure de données aient toutes deux leurs partisans, la question de savoir laquelle est la meilleure se résume aux besoins de données uniques de votre organisation.

Dans cet article, vous découvrirez le maillage de données et la structure de données, leurs similitudes et leurs différences, les avantages et les inconvénients de la mise en œuvre de l'une ou l'autre stratégie et comment choisir entre elles.

Qu'est-ce que Data Mesh ?

Le maillage de données a été présenté pour la première fois en tant que concept par Zhamak Dehghani en 2019. Il s’agit d’une approche d’architecture de données orientée domaine pour décentraliser l’analyse des données. Maillage de données assure la disponibilité rapide des analyses de données pour plusieurs équipes, éliminant ainsi les données cloisonnées dans le processus.

L'approche distribuée moderne s'éloigne des applications monolithiques et redistribue la propriété des données aux équipes et utilisateurs spécifiques à un domaine. Cela permet à vos équipes de récupérer, comprendre, gérer et utiliser leurs actifs de données et leur pile (répartis sur plusieurs domaines sous forme de microservices de données), leur permettant ainsi de piloter des initiatives et des innovations axées sur les données.

En d'autres termes, le maillage de données permet à vos équipes de traiter les données comme un produit. Ainsi, au lieu de faciliter la formation de silos de données, vous permettez à vos équipes spécialisées dans un domaine de s'approprier et de partager leurs données, améliorant ainsi la collaboration interfonctionnelle et le partage d'informations.

Data Mesh : de quoi a-t-il besoin ?

Les principes clés suivants guident l’approche du maillage de données :

Propriété des données décentralisée axée sur le domaine

Au lieu d'un référentiel centralisé comme un lac de données ou un entrepôt, la propriété des données incombera à vos équipes fonctionnelles, telles que le marketing ou les ventes. Étant donné que les équipes sont responsables du cycle de vie de leurs actifs de données, l'approche de maillage de données favorise l'expertise et la responsabilisation spécifiques au domaine.

Traiter les données du domaine comme un produit

L'approche de maillage de données permet à vos équipes de traiter les données comme un produit. Cette approche consiste à fournir des produits de données accessibles, détectables et de haute qualité aux utilisateurs internes et externes. En assumant le rôle de propriétaires de produits de données, les équipes spécifiques au domaine appliquent la réflexion sur les produits pour créer des produits de données fiables, bien documentés et faciles à utiliser.

Conception d'une plateforme de données en libre-service

L'infrastructure de données en libre-service dans un maillage de données permet à vos domaines décentralisés de partager et d'utiliser des produits de données de manière autonome. Cette fonctionnalité automatise la communication et le partage d'informations afin que vos équipes puissent utiliser, interpréter et analyser d'autres ensembles de données spécifiques à un domaine avec une expertise technique minimale.

Gouvernance unifiée des données

Même avec une propriété décentralisée des données, l'approche du maillage de données met l'accent sur la nécessité d'une gestion fédérée gouvernance des données, vous aidant à mettre en œuvre des normes, des politiques et des protocoles partagés dans tous vos domaines de données décentralisés. La gouvernance des données partagées est essentielle pour garantir la qualité, la sécurité et la conformité des données sans compromettre la flexibilité offerte à vos équipes par l'approche de maillage de données.

Data Mesh : cas d'utilisation

• Service à la Clientèle: En adoptant la réflexion produit pour les données, vos équipes de domaine garantissent que leurs données sont compréhensibles pour les autres équipes, fournissant ainsi à vos équipes marketing et d'assistance des informations complètes sur le parcours client.
  Par exemple, votre équipe d'assistance peut utiliser des informations pertinentes provenant de différents domaines pour réduire le temps de traitement moyen (DMT). De même, le service marketing peut s'assurer que ses campagnes ciblent les bonnes données démographiques en analysant les données de vente et de développement commercial.
  
• Analyse de données de haute qualité : Vos charges de travail d'analyse de données reçoivent des données de haute qualité provenant de plusieurs domaines d'activité pertinents dans une architecture de maillage de données. Cela permet de créer des tableaux de bord BI personnalisés pour présenter les performances opérationnelles, les informations marketing, les résultats de gestion de projet, etc.
• Utilisation des données de tiers : Le maillage de données est utile dans les cas d'utilisation nécessitant l'intégration d'ensembles de données externes. Vous pouvez administrer des données tierces ou publiques comme leur propre domaine dans le maillage, garantissant ainsi la cohérence avec vos ensembles de données internes spécifiques au domaine.

Qu’est-ce que Data Fabric ?

Contrairement à l'architecture de maillage de données, le tissu de données L'approche est centralisée. Elle présente un cadre de gestion des données intégré et unifié. Votre organisation peut accéder aux données, les gérer et les utiliser efficacement avec Data Fabric.

La nature centralisée de l'approche Data Fabric signifie que vous pouvez accéder à vos données et les exploiter, qu'elles soient stockées sur site, dans des environnements hybrides ou dans le cloud. Vous pouvez y parvenir en mettant en œuvre une couche d'accès intégrée et transparente dans l'ensemble de votre réseau informatique.

L’une des caractéristiques déterminantes de l’approche Data Fabric est sa dépendance aux métadonnées pour comprendre la lignée, la structure et la valeur des données pour vos équipes de domaine.

Data Fabric : de quoi a-t-il besoin ?

Les technologies suivantes sont essentielles à la mise en œuvre de l’architecture de la structure de données :

• Couche de données unifiée : La couche de données garantit un transport sécurisé et transparent des données et les rend accessibles dans toute votre organisation. La couche unifiée vous aide à garantir la qualité et la gouvernance des données tout en permettant un accès et une gestion faciles.

• Automatisation et intégration basées sur l'IA/ML : Les algorithmes basés sur l’IA ou le ML (Machine Learning) aident à automatiser des tâches telles que la découverte, la récupération, la reconnaissance de structures et l’analyse de données.
  L'automatisation des tâches facilite les activités d'intégration de données, aidant votre organisation à gérer de grands volumes de données complexes provenant de sources disparates.

• Fondation pour les métadonnées intelligentes : Les algorithmes basés sur l'IA ou le ML (Machine Learning) permettent d'automatiser des tâches telles que la découverte, la récupération, la reconnaissance de structures et l'analyse de données. L'automatisation des tâches facilite les activités d'intégration de données, aidant ainsi votre organisation à gérer de grands volumes de données complexes provenant de sources disparates. 
• Interface frontale pilotée par API : Les API constituent l'épine dorsale technologique de l'architecture de la Data Fabric. Elles aident les utilisateurs front-end à accéder aux données et aux informations pour prendre des décisions agiles et basées sur les données.

Data Fabric : cas d'utilisation

La structure de données est une approche populaire car elle résout de nombreux problèmes de gestion et d'analyse de données réparties sur plusieurs sites et systèmes. En offrant un environnement de données unifié et intégré, elle rationalise la gestion de l'accès aux données, améliore la qualité des données et fournit des informations basées sur les données en temps réel.

• Vue holistique des données : Supposons que votre organisation soit répartie sur plusieurs catégories et gère des données provenant de sources disparates. Data Fabric fournit une vue unifiée des données, permettant à vos équipes d'accéder à des informations pertinentes tout en offrant une compréhension globale de l'entreprise.
• Réduction de la charge OLTP : Les bases de données OLTP (Online Transaction Processing) sont utilisées dans des secteurs tels que la vente au détail et la finance. Data Fabric peut vous aider à réduire la charge sur vos bases de données OLTP en transférant les requêtes analytiques vers Data Fabric.
• Informations en temps réel: La mise en œuvre d’une structure de données peut fournir à votre organisation des informations en temps réel, conduisant à une prise de décision basée sur les données dans l’ensemble de vos fonctions organisationnelles.

Data Mesh vs. Data Fabric : considérations clés

Voici quelques éléments à prendre en compte lorsque vous choisissez l’architecture à mettre en œuvre pour répondre aux besoins de gestion des données de votre organisation :

	Maillage de données	Structure de données
Échelle et complexité	Idéal pour les piles de données complexes et à grande échelle où plusieurs équipes travaillent de manière indépendante mais partagent des informations.	Idéal pour les organisations à la recherche d'une plateforme de données unifiée et centralisée, quelle que soit l'échelle et la complexité.
Structure organisationnelle	Les équipes ont la propriété et la gestion des données. Convient aux organisations autonomes et à la collaboration interfonctionnelle.	Organisations dotées d'une structure centralisée de gestion informatique et de données et de sources de données et de stockage hybrides.
Gouvernance et sécurité des données	La gouvernance et la sécurité des données dépendent de la propriété et de la responsabilité des équipes de domaine en matière de données. L'application de politiques à plusieurs services est délicate.	La gouvernance et la sécurité des données sont centralisées. L'application des politiques à l'échelle de l'organisation est facile.
Temps de mise en oeuvre	Nécessite la propriété des données, une réflexion sur le produit et une infrastructure pour et par chaque équipe. Sa mise en œuvre peut prendre plus de temps.	Grâce à des ressources d’ingénierie de données techniquement solides et centralisées, il peut être mis en œuvre dans un délai plus court.

Avantages et inconvénients de la mise en œuvre de chaque stratégie de données

Bien que les deux approches offrent des avantages potentiels, elles présentent également certains inconvénients, notamment lorsqu'elles sont mises en œuvre de manière isolée. Examinons les avantages et les inconvénients de la mise en œuvre de chaque stratégie :

Avantages et inconvénients de la mise en œuvre du maillage de données

Avantages

La nature décentralisée du maillage de données vous permet de :

• Adaptez efficacement les efforts de gestion des données de votre organisation,
• Répartir la responsabilité et la propriété des données entre les équipes du domaine,
• Éliminez tout goulot d'étranglement et SPOF (point de défaillance unique),
• Et améliorer l’agilité et la réactivité aux changements des exigences internes et externes.

Inconvénients

À l’inverse, la mise en œuvre d’un maillage de données peut également conduire à :

• Défis en matière de collaboration et de coordination,
• Complexité accrue de la pile de données,
• Manque de cohérence dans les pratiques de données entre les équipes de domaine,
• Et une dépendance excessive à la normalisation des données.

Avantages et inconvénients de la mise en œuvre de Data Fabric

Avantages

Data Fabric centralise vos efforts de gestion des données, ce qui peut vous aider à :

• Simplifier les opérations de données dans toute l'organisation,
• Optimisez l'intégration, l'accès, le traitement et le stockage des données,
• Permettre une mise en œuvre cohérente des politiques de gouvernance, de qualité et de sécurité des données,
• Rendre les charges de travail d'analyse et de reporting plus efficaces,
• Et optimisez l’utilisation des ressources en réduisant le traitement et le stockage des données redondantes.

Inconvénients

À l’inverse, la centralisation d’une infrastructure de données peut conduire à :

• Formation de goulots d'étranglement avec des volumes de données élevés,
• Réactivité lente aux changements spécifiques au domaine,
• Dépendance à une équipe centrale, compromettant la prise de décision rapide,
• Défis d’évolutivité pour les grandes entreprises ayant des exigences élevées en matière de données,
• Restrictions à l’innovation et à l’expérimentation en raison de la faible autonomie des équipes,
• Et la complexité de la gestion de diverses technologies et sources de données.

Data Mesh vs. Data Fabric : comment choisir la stratégie de données de votre organisation ?

Pour choisir l’architecture de données adaptée à votre organisation, vous devez :

1. Évaluez vos besoins en données. Cela inclut votre stratégie de données, vos besoins d’accès et de gestion des données, ainsi que l’infrastructure existante.
2. Tenez compte des facteurs sociotechniques. Il s’agit notamment de la structure de l’équipe de domaine, de la culture et des capacités techniques de votre organisation.
3. Effectuer une évaluation de la maturité des données. Cela peut vous aider à identifier les faiblesses et les forces de votre écosystème de données.
4. Comparer les différentes architectures. À ce stade, le choix se ferait entre deux ou trois options, telles que le maillage de données ou la structure de données ou Coffre-fort de données vs maillage de données.

Il est essentiel de procéder à une évaluation appropriée de ces étapes avant de prendre la décision finale.

Malgré tout, maillage de données peut être un bon choix si vous souhaitez :

• Décentralisez votre plateforme de données,
• Renforcez la propriété et la gestion des données de vos équipes de domaine,
• Améliorer la collaboration interfonctionnelle et le partage des données,
• Augmenter la réactivité aux défis spécifiques du domaine,
• Ou respectez des protocoles stricts de gouvernance et de qualité des données.

Tissu de données peut être un bon choix si vous souhaitez :

• Éliminez les silos de données et obtenez une vue unifiée des données,
• Gérer des environnements de données multi-cloud ou hybrides,
• Exploiter les capacités d’intégration de données robustes existantes,
• Or moderniser un entrepôt de données existant.

Un dernier mot

Le maillage de données et la structure de données sont deux approches qui offrent des avantages uniques si vous cherchez à améliorer la gestion et l'analyse des données de votre organisation. Cependant, elles diffèrent dans leurs principes clés (centralisé ou décentralisé). Étant donné que les avantages potentiels diffèrent également, le choix dépend de l'écosystème de données de votre organisation.

Cependant, la solution ne réside pas nécessairement dans un débat entre maillage de données et structure de données. Il peut s'agir d'une approche mixte adaptée aux besoins spécifiques de votre organisation en matière d'architecture de données. L'objectif n'est pas seulement de répondre à vos besoins immédiats en matière de données et de mettre en œuvre un système pour aider votre organisation à naviguer dans le paysage dynamique des données. C'est là que se situe la solution. Astera entre en jeu.

Astera peut vous aider à décider et à mettre en œuvre l'architecture de données adaptée à votre organisation. AsteraLa pile de données automatisée sans code de permet à votre organisation de créer, d'implémenter, de gérer et de faire évoluer efficacement votre écosystème de données.

Demander une démo personnalisée apprendre comment Astera peut aider à répondre aux besoins d'architecture de données de votre organisation.