Avez-vous vraiment besoin d'un coffre-fort de données ?

La méthodologie de modélisation Data Vault 2.0 a acquis une immense popularité depuis son lancement en 2013. Il s'agit d'un modèle hybride qui combine les avantages de la troisième forme normale (3NF) et des architectures de schéma en étoile, ce qui en fait une solution de rêve pour les ingénieurs en entreposage de données.

Mais cela vaut-il la peine de l'implémenter pour votre architecture d'entrepôt de données ? La réponse n'est pas simple, car de nombreux facteurs doivent être pris en compte. Alors, allons-y et voyons si Data Vault 2.0 est fait pour vous.

Quand devez-vous implémenter un coffre-fort de données ?

L'architecture du coffre-fort de données se veut complémentaire à l'architecture schéma en étoile méthodologie de modéliser votre entrepôt de données. Il agit comme une couche supplémentaire entre vos couches de préparation et de reporting.

3NF et le schéma en étoile sont d'excellentes architectures autonomes, mais les deux ont leurs avantages et leurs inconvénients. Un modèle 3NF offre une redondance des données réduite et nécessite moins d'espace de stockage, mais peut être difficile à interroger en raison du grand nombre de tables. Un schéma en étoile est optimisé pour accélérer les performances des requêtes et la maintenance de l'historique, mais peut être complexe et prendre du temps.

C'est là que le coffre-fort de données entre en jeu.

Le plus grand avantage d'avoir un coffre-fort de données en place est son adaptabilité au changement. Si votre architecture source est sujette à des modifications, telles que l'ajout ou la suppression de colonnes, de nouvelles tables ou de relations nouvelles/modifiées, vous devez absolument implémenter un coffre-fort de données.

Un modèle 3NF a des dépendances d'entité élevées, étant donné que les entités sont corrélées. Chaque fois que quelque chose de nouveau est ajouté ou qu'une modification est apportée au modèle, vous devez modifier les liens de relation existants, ce qui peut entraîner des problèmes d'intégrité référentielle. En revanche, un modèle de coffre-fort de données contient des tables de liens indépendantes signifiant les liens entre les tables. Vous pouvez facilement incorporer des modifications, telles que l'ajout de nouvelles sources à l'architecture ou la modification du schéma existant, en ajoutant de nouvelles tables de liens au modèle.

Un avantage supplémentaire de ces tables de liens est leur capacité à répondre aux relations plusieurs-à-plusieurs. Dans un modèle 3NF, vous devrez créer une table de pont pour maintenir ce type de relation, mais les tables de liens ont la capacité inhérente de le faire. Aucune modification de schéma ne serait nécessaire même si vous modifiez une relation de un à plusieurs en plusieurs à plusieurs.

De plus, les coffres-forts de données offrent une vérifiabilité en utilisant des tables satellites pour conserver des enregistrements historiques des modifications apportées aux données source. En termes de modélisation dimensionnelle, le SCD de type 2 est essentiellement appliqué à chaque champ, garantissant la conservation de l'historique. De cette façon, vous pouvez suivre toutes sortes de changements qui se produisent dans les données. De plus, la table satellite contient également des champs de temps d'enregistrement et de source, facilitant un audit complet.

Une architecture de coffre-fort de données permet chargement parallèle, car aucune recherche n'est requise, contrairement à un modèle dimensionnel qui nécessite une recherche de dimension pour obtenir la clé de substitution active pour un fait. De plus, il n'y a pas de contraintes de clé étrangère ; Les clés de hachage peuvent être facilement calculées à l'aide des clés métier de la couche intermédiaire, ce qui élimine le besoin d'une recherche et permet de remplir et de gérer plusieurs tables en parallèle. Les meilleures notes pour l'efficacité!

Jusqu'à présent, nous n'avons parlé que du coffre-fort brut - et il est évident que sa mise en œuvre présente d'énormes avantages. D'autre part, le coffre-fort d'entreprise fournit un ensemble distinct d'entités, telles que des tables ponctuelles et des tables de pont, qui peuvent être utilisées comme une marge de manœuvre vers la couche de création de rapports (schéma en étoile) ou accessibles directement pour la création de rapports.

La combinaison du coffre-fort brut et du coffre-fort d'entreprise peut servir d'instruments puissants dans la boîte à outils d'un architecte d'entrepôt de données. Mais sont-ils une partie essentielle du cycle de vie du développement de votre entrepôt de données ? Hum, pas exactement!

Quand est-ce excessif ?

Prenons un scénario dans lequel vous disposez d'un système source ERP contenant dix années de données que vous souhaitez charger dans un entrepôt de données et utiliser pour les rapports. Aucun changement n'est prévu pour l'architecture ou les données elles-mêmes ; votre seul objectif est d'obtenir des informations à partir des informations disponibles.

Dans une telle situation, l'adaptabilité n'est pas une exigence puisqu'aucun changement n'est attendu dans l'architecture - il n'est pas nécessaire d'ajouter de nouvelles relations, champs ou tables. De plus, vous n'auriez pas besoin d'auditer des données qui n'attendent aucune mise à jour de la ou des sources.

La conception d'un coffre-fort brut peut être une tâche fastidieuse et chronophage. Si votre seul objectif est de générer des rapports à partir de vos données, pourquoi se donner la peine ? Vous pouvez passer directement de la base de données intermédiaire à un schéma en étoile, sans doute le meilleur choix de création de rapports.

Conclusion

Maintenant que nous avons discuté de tous les facteurs à considérer, voici une conclusion :

La mise en œuvre d'un coffre-fort de données est facultative et dépend entièrement de votre environnement de données et de vos exigences. Si vous recherchez une architecture auditable et adaptable, la conception d'un coffre-fort brut au-dessus de votre couche intermédiaire est logique. Vous pouvez ensuite créer un coffre-fort d'entreprise pour activer des rapports significatifs directement à partir du coffre-fort ou via une couche de rapport complémentaire, telle qu'un schéma en étoile.

Cependant, si vous avez des sources de données statiques et que votre principale exigence est d'obtenir des informations à partir de vos données, la conception d'un coffre-fort de données serait une perte de temps. En bref, si l'adaptabilité et l'auditabilité ne sont pas requises, il est inutile d'avoir un coffre-fort de données entre vos couches de préproduction et de création de rapports.

Si vous appartenez à la catégorie des ingénieurs de données qui ont besoin d'un coffre-fort de données dans le cadre de leur écosystème, gardez à l'esprit que la création de hubs, de liens, de satellites, de ponts et de tables ponctuelles, pour ne citer que quelques-uns des nombreux composants du coffres-forts bruts et commerciaux - peuvent devenir très techniques et nécessiter des connaissances approfondies en programmation. Mais n'ayez pas peur; il y a un moyen facile de s'en sortir !

Astera DW Builder fournit un concepteur de modèle de données avec une interface visuelle, y compris des fonctionnalités de glisser-déposer et de clic-pointage, pour vous permettre de concevoir un coffre-fort de données avec un minimum d'effort. De plus, la capacité d'automatisation de l'outil vous permettra de dériver un schéma de coffre-fort de données à partir d'un modèle de données source en quelques clics seulement. En termes simples, cela ne devient pas plus facile que cela.

Découvrez la meilleure façon de mettre en œuvre un coffre-fort de données. Contactez-nous au [email protected] dès aujourd'hui !