Modifier La Saisie De Données2021-03-15T14:25:20+00:00

Vue d'ensemble

Les entrepôts de données étaient à l'origine conçus pour être mis à jour sur une base annuelle, mensuelle ou hebdomadaire. Dans l'environnement commercial actuel, les entreprises ne peuvent plus attendre que les données parviennent aux magasins de données back-end - elles doivent capturer les données directement à partir des systèmes transactionnels de base au fur et à mesure de leur collecte. Change Data Capture (CDC) est un ensemble de modèles de conception de logiciels utilisés pour déterminer et suivre les données qui ont changé afin que des mesures puissent être prises en utilisant les données modifiées sans délai.

AsteraLa suite de produits de gestion des données prend en charge une variété de stratégies de capture de données de changement, à la fois par lots et en temps réel, permettant à une entreprise de sélectionner une stratégie de mise à jour qui optimise les processus d'intégration de données globaux. Ceci est particulièrement important lorsque les données doivent être copiées des bases de données de production vers un entrepôt de données analytiques sans perturber le flux régulier de données, ce qui est le cas lorsque les utilisateurs sont obligés d'attendre les exécutions par lots. La capture de données modifiées (CDC) rationalise les analyses modernes en tirant parti des données événementielles et en rendant l'intégration des données plus agile pour offrir une efficacité opérationnelle accrue.

Comment fonctionne la capture de données modifiées

La technologie Change Data Capture permet aux utilisateurs de sélectionner les champs qui doivent être audités, puis de capturer automatiquement les insertions, les mises à jour et les suppressions de base de données pour rendre disponible un enregistrement de ce qui a changé, où et quand, dans de simples tables relationnelles. Ces tableaux de «changement» contiennent les métadonnées nécessaires pour comprendre les changements dans le bon contexte, ce qui conduit finalement à de meilleures décisions commerciales.

Identifier

AsteraLa technologie CDC de l 'utilisateur permet à l' utilisateur de choisir parmi plusieurs options d 'identification: déclencheurs de base de données, horodatages et tables de journal pour identifier les changements. En utilisant ces approches de capture de données de changement, une stratégie de lecture hybride peut également être déployée visuellement en définissant des règles métier qui indiquent au système les changements à identifier et comment.

Les flux d'intégration peuvent être construits à l'aide de stratégies CDC pour «écouter» les modifications en vue d'une propagation ultérieure. La stratégie CDC peut également être sélectionnée lors de la configuration des paramètres de charge de l’entrepôt de données dans Astera plate-forme.

Capture

Les INSERT, UPDATE et DELETE de base de données appliqués aux tables SQL Server sont capturés à l'aide de CDC pour créer automatiquement des tables de modifications qui capturent ce qui a été changé, où et quand dans les tables suivies. Ces tables de modifications contiennent des colonnes qui reflètent la structure de colonnes de la table source, ainsi que les métadonnées nécessaires pour comprendre les modifications apportées.

CDC crée un miroir de la table suivie, avec des colonnes supplémentaires pour les métadonnées, et l'utilise pour surveiller les modifications.

Livrer

Une fois les modifications identifiées et enregistrées, AsteraLe puissant moteur de traitement parallèle du logiciel utilise les processus d'extraction, de transformation et de chargement (ETL) automatiquement sur le backend pour charger les données modifiées des tables source SQL Server dans l'entrepôt de données ou le datamart, soit par transaction, soit sous forme d'agrégats.

Étant donné que CDC capture les modifications apportées à une source de données et les applique à l'ensemble de l'entreprise, il minimise les ressources requises pour les processus ETL, car il ne traite que les modifications de données.

Activez l'intégration plus rapide des données pour alimenter vos initiatives de BI

Reconnaître les événements professionnels au fur et à mesure qu'ils se produisent et les capturer automatiquement

Assurer la synchronisation des données et faciliter l'intégration des données en temps réel à l'aide de AsteraLe moteur ETL de niveau industriel doté de fonctionnalités d’automatisation avancées, Change Data Capture, permet la propagation transparente des nouvelles entrées saisies dans la base de données vers les applications associées telles que les systèmes d’expédition, de facturation, etc.

Principales caractéristiques de DWAccelerator comprennent :

Répondre aux exigences modernes d'intégration de données en temps réel

L'évolution des applications pilotées par les données nécessite une approche moderne de l'intégration des données de plus en plus agile. AsteraLa technologie CDC de SSC capture les données directement à partir des systèmes transactionnels principaux au fur et à mesure de leur collecte, ce qui permet une intégration des données en temps réel.

Créer des configurations CDC rapidement et facilement

Avec l’environnement sans code et par glisser-déposer de nos solutions, la configuration de la bonne stratégie CDC est simple et rapide. Les utilisateurs doivent simplement sélectionner "Chargement incrémentiel" comme option souhaitée pour les entités requises et définir d'autres paramètres pour charger de manière incrémentielle les nouvelles données d'une source dans un entrepôt de données.

Minimiser les ressources requises pour les processus ETL

Plutôt que de traiter par lots les processus d'extraction, de transformation et de chargement en masse, perturbant la production et consommant une puissance de traitement importante, utilisez CDC pour capturer uniquement les données modifiées dans les systèmes sources et les transmettre à l'ensemble de l'entreprise.

Obtenez des données actualisées plus rapidement pour prendre de meilleures décisions commerciales

Les entreprises ne peuvent plus attendre que les données arrivent des magasins d'arrière-plan, car la valeur des décisions commerciales repose principalement sur leur actualité. Pour cela, Astera offre à vos employés la version la plus récente, la plus complète et la plus précise des informations grâce à sa technologie Change Data Capture (CDC).

Choix de stratégies de CDC par lots, en temps quasi réel et en temps réel

Selon les exigences et l'environnement de l'entreprise, configurez facilement CDC pour charger les données modifiées par lots, par incréments définis, ou pour fournir le flux en temps réel. La technologie est suffisamment flexible pour toutes vos stratégies commerciales.

Créer des flux d'intégration qui «écoutent» les modifications de la base de données

AsteraVisual Builder de fournit aux utilisateurs une interface simple de type glisser-déposer pour créer des flux de données réutilisables pouvant être adaptés à toutes les exigences d'intégration de données, y compris la possibilité «d'écouter» les modifications apportées aux champs de la base de données et de mettre à jour les systèmes cibles.

Configuration de CDC à l'aide de déclencheurs de base de données automatisés

AsteraLe CDC de 's applique automatiquement les déclencheurs de base de données et d'autres objets d'identification de modification, tels que les horodatages, l'historique des versions et les indicateurs d'état actuel des systèmes sources, afin de surveiller les modifications.

Faites évoluer votre configuration CDC pour prendre en charge de gros volumes de données

Exploitez la puissance de traitement avancée de AsteraLe moteur hautes performances de SIG exploite pleinement le matériel multicœurs et multiprocesseurs pour adapter vos configurations CDC à la gestion de gros volumes de données.

Choisissez si vous voulez extraire toutes les mises à jour ou quelques-unes

La fonction CDC peut être configurée pour capturer toute combinaison de modifications, que vous souhaitiez l'utiliser pour charger intégralement la base de données source ou simplement la configurer pour surveiller quelques modifications et les mettre à jour en permanence dans l'entrepôt de données.

Capturer les métadonnées automatiquement pour comprendre le contexte des changements

Même si la technologie peut surveiller les modifications et capturer ces données, CDC capture également les modifications apportées à la structure de la base de données à l'aide de son langage DDL (Data Definition Language) et enregistre ces métadonnées dans une colonne distincte de la table d'audit.

Améliorer la réactivité informatique aux besoins de l'entreprise De nos jours,