Déboguez facilement des mappages de données complexes avec aperçu instantané des données

By |2022-01-12T07:26:51+00:0011 Juin 2019|

Les problèmes imprévisibles et intermittents sont le fléau de la création et du débogage d'un complexe cartographie des donnéess. Cela peut donner l'impression de trouver une aiguille dans une botte de foin, en particulier lorsqu'il s'agit de formats de données hiérarchiques, tels que les fichiers JSON, XML et EDI. Le fait que les exigences en matière de manipulation des données et le nombre et les types de sources de données impliquées peuvent changer au fil du temps, annulant les efforts déployés auparavant, rend les erreurs de cartographie encore plus nuancées et difficiles à identifier.

L'approche rétrospective du débogage est inefficace

Traditionnellement, le processus de débogage des mappages de données commence après que le flux de données a été exécuté sans succès et s'est terminé par une erreur. Il recule du point auquel la réalisation d'une erreur se produit à la recherche du point exact dans le flux de données auquel l'erreur a été introduite.

Cette approche rétrospective consistant à retracer une erreur jusqu'à sa source est inefficace, en particulier pour le débogage de flux de données complexes comprenant un groupe d'expressions, de multiples règles de qualité des données, plusieurs sources de données et de nombreuses transformations de données.

La question est de savoir comment rendre le processus plus traçable. Comment passer d’une approche où-ce-qui-a-eu-ce-bug-se produire à une approche plus itérative qui permet aux développeurs de valider un flux de données pendant la construction?

 

Débogage en temps réel avec aperçu instantané des données

Centerprise propose un moteur révolutionnaire de prévisualisation instantanée des données qui permet aux développeurs de prévisualiser la sortie de leur projet de mappage de données à n’importe quelle étape en un seul clic. Il n'est pas nécessaire d'exécuter un flux de données pour avoir une visibilité sur le résultat attendu de votre mappage. Au lieu, Centerprise permet de tester et de valider en temps réel les mappages en permettant aux utilisateurs de prévisualiser un échantillon ou toutes les données au fur et à mesure de leur transformation, améliorant ainsi le temps d'itération et offrant un cycle de retour plus court pour les développeurs travaillant sur des projets de cartographie des données.

Prévention des erreurs de mappage

Le mappage de données de haute qualité consiste à produire un processus ETL bien conçu qui est testé, validé et optimisé pour améliorer les performances. Cependant, avant d’atteindre la phase de validation, les développeurs peuvent tomber dans des pièges de mappage communes (ou plus compliquées) et, en tant que processus, l’effort pour éviter les erreurs de mappage doit commencer le plus tôt possible dans la phase de conception.

Astera Centerprise permet d'éviter les erreurs de mappage au moment de la conception en offrant aux développeurs la possibilité d'afficher le résultat final d'un mappage ETL, ainsi que des données brutes à n'importe quelle étape du processus. Ceci est particulièrement utile lorsque vous travaillez avec des projets de mappage de données complexes, impliquant des exigences de transformation de données avancées. Grâce à la possibilité de visualiser les données entre les composants de flux de données, les utilisateurs peuvent facilement identifier les erreurs de mappage inattendues, voir comment une transformation ou une expression manipule les données et découvrir le motif de l'erreur.

Par exemple, en utilisant Instant Data Preview, vous pouvez savoir si un flux de données utilise une expression avec une syntaxe non valide sans avoir à exécuter le flux de données, obtenir des détails complets sur la cause de l'erreur et la rectifier en temps réel.

Dépannage des erreurs de mappage

Parfois, des erreurs se retrouvent dans les mappages ETL, entraînant l'échec d'un flux de données. D'autres fois, un flux de données peut s'exécuter avec succès, mais peu d'enregistrements peuvent comporter une erreur ou un avertissement.

Dans de tels cas, Instant Data Preview fournit des détails complets sur la raison de l'échec, ainsi que sur le nombre d'enregistrements contenant des erreurs. Il existe des options permettant d'afficher uniquement les enregistrements auxquels un message est associé et d'afficher les informations d'erreur.

La prévisualisation instantanée des données est intégrée à Astera Centerprise et n'exige pas que l'utilisateur lance une session de débogage distincte pour identifier et résoudre les erreurs de mappage. Au lieu de cela, les développeurs peuvent créer et déboguer simultanément des flux de données de manière hautement interactive et accélérer le processus d'itération.

Intéressé à utiliser cette fonctionnalité puissante de première main? Télécharger un version d'essai gratuite de Astera Centerprise.