L'automatisé, Pas de code Pile de données
Apprener comment Astera Data Stack peut simplifier et rationaliser la gestion des données de votre entreprise.
Rationalisez l'intégration des données en temps réel en tirant parti des flux de travail
A étude par IDC prévoit que le volume mondial de données atteindra le chiffre énorme de 175 zettaoctets (ZB) d'ici 2025. La gestion de volumes croissants de données provenant de diverses sources peut être une tâche délicate. Pour cette raison, de nombreuses organisations exploitent des outils d'intégration de données avec des capacités d'automatisation des flux de travail pour accélérer leurs processus de données et rationaliser l'intégration.
Que vous souhaitiez consolider des données transactionnelles, migrer des données à partir de systèmes hérités ou intégrer des données de partenaires ou de fournisseurs, le composant de workflow de Astera Centerprise automatise l'exécution d'une séquence de tâches, en série ou en parallèle, sur plusieurs serveurs. Cela permet de minimiser la probabilité d'erreur, d'optimiser les processus métier et d'améliorer le délai de rentabilité en éliminant les étapes manuelles impliquées dans la conception et le déploiement des flux d'intégration de données.
Intégrez les données à l'automatisation des flux de travail dans Centerprise
Conçu pour offrir facilité d'utilisation et flexibilité, le composant de flux de travail permet de visualiser et d'automatiser l'ensemble du processus, depuis le moment où les données entrent dans une organisation jusqu'au moment où elles sont nettoyées, validées et chargées dans la destination préférée.
Pour illustrer les capacités d'intégration de données de Astera Centerprise avec l'automatisation du flux de travail, considérons un scénario dans lequel une entreprise reçoit des données client dans une feuille de calcul chaque mois. L'exigence est de nettoyer les données entrantes et de charger les données traitées dans le CRM de l'entreprise, Salesforce.com, pour une vue unifiée.
La capture d'écran ci-dessous montre comment la fonctionnalité de workflow dans Astera Centerprise aidé à accomplir cette tâche en automatiser le processus ETLet l'envoi de notifications par e-mail aux utilisateurs de l'information une fois le travail terminé.
Figure 1: utilisation d'un composant de workflow
Examinons en détail les étapes impliquées dans le flux de travail.
Étape 1: boucle dans le répertoire source
Tout d'abord, un objet File System est utilisé pour parcourir le répertoire source pour récupérer le chemin du fichier source.
Figure 2: spécification du répertoire source
Étape 2: exécution d'ETL
La tâche Exécuter le flux de données est utilisée pour appeler un flux de données dans un flux de travail. Dans ce scénario, nous appellerons un flux de données existant pour exécuter le processus ETL.
Figure 3: Exécuter les propriétés des objets de flux de données
Figure 4: orchestrer le processus ETL dans un workflow
Le flux de données est utilisé pour extraire les données des fichiers source, nettoyer les données brutes pour créer une structure standardisée, les traiter selon les besoins de l'entreprise et charger les données transformées dans le CRM de l'entreprise, Salesforce.com, comme illustré à la figure 5.
De plus, les variables d'entrée et de sortie sont définies dans l'objet Variables. Le premier est utilisé pour fournir le chemin du fichier source vers l'objet source Excel et le dernier est utilisé pour transmettre la valeur de statut du travail au flux de travail contenant pour la prise de décision, comme indiqué dans l'image ci-dessous.
Figure 5 : Processus ETL pour rationaliser les workflows
Étape 3: envoi d'une notification par e-mail
Une tâche de décision appelle l'un des deux chemins d'accès dans le flux de travail, selon que l'expression logique à l'intérieur de l'objet Décision renvoie un Oui (Vrai) ou un Non (Faux). Dans ce scénario, la valeur de la variable de sortie «Statut du travail» est transmise du flux de données au flux de travail pour la prise de décision. Un objet Décision est utilisé pour envoyer un e-mail pour informer les utilisateurs lorsque le travail est terminé ou pour copier le fichier dans un répertoire si le travail est terminé.
Figure 6: Propriétés de décision
Figure 7: Utilisation d'un objet décision dans le workflow
Étape 4: Automatisation du flux ETL
Astera Centerprise possède de planificateur de travaux intégré qui vous permet d'automatiser les flux ETL et de rationaliser l'intégration de la base de données en spécifiant la fréquence des travaux. Cela élimine le besoin d'exécuter manuellement le flux chaque fois qu'un fichier est reçu.
Dans ce cas, le flux s'exécute chaque fois qu'un fichier est déposé dans le répertoire source, comme illustré ci-dessous.
Figure 8: Planification d'un travail
Rationalisez l'intégration avec Centerprise
Les tâches d'intégration de données impliquent des flux de travail complexes qui extraient, nettoient et valident les données structurées et non structurées. L'automatisation joue un rôle crucial dans le streaming d'événements de données, car elle contribue à augmenter le débit et la productivité.
En utilisant AsteraComposant de flux de travail, vous pouvez reconstituer visuellement des flux de travail de toute complexité, et mettre à l'échelle et automatiser l'ensemble du processus d'intégration des données en temps réel - de l'extraction des données sources à la transformation et au chargement dans l'entrepôt de données. En cas de streaming en temps réel, ces données peuvent alors être affichées simultanément via des rapports.
En savoir plus sur l'intégration des données et les capacités d'automatisation des workflows de Astera Centerprise. Téléchargez une GRATUIT DE 14 JOURS version et l'expérience de première main!
