Автоматизированный, Без кода Стек данных
Научиться Astera Data Stack может упростить и оптимизировать управление данными вашего предприятия.
Оптимизация интеграции данных в реальном времени за счет использования рабочих процессов
A Исследование По прогнозам IDC, к 175 году мировой объем данных вырастет до огромных 2025 зеттабайт (ЗБ). Управление растущими объемами данных из различных источников может оказаться непростой задачей. По этой причине многие организации используют инструменты интеграции данных с возможностями автоматизации рабочих процессов для ускорения обработки данных и оптимизации интеграции.
Если вы хотите консолидировать транзакционные данные, перенести данные из устаревших систем или интегрировать данные партнеров или поставщиков, компонент рабочего процесса в Astera Centerprise автоматизирует последовательное или параллельное выполнение последовательности задач на нескольких серверах. Это помогает минимизировать вероятность ошибок, оптимизировать бизнес-процессы и сократить время окупаемости за счет исключения ручных действий, связанных с проектированием и развертыванием потоков интеграции данных.
Интегрируйте данные с автоматизацией рабочих процессов в Centerprise
Компонент рабочего процесса, разработанный для обеспечения простоты использования и гибкости, помогает визуализировать и автоматизировать весь процесс, начиная с момента поступления данных в организацию и заканчивая их очисткой, проверкой и загрузкой в предпочтительное место назначения.
Чтобы проиллюстрировать возможности интеграции данных Astera Centerprise Используя автоматизацию рабочих процессов, давайте рассмотрим сценарий, в котором компания каждый месяц получает данные о клиентах в электронной таблице. Требуется очистить входящие данные и загрузить обработанные данные в CRM компании Salesforce.com для единого представления.
На снимке экрана ниже показано, как работает функциональность рабочего процесса в Astera Centerprise помог выполнить эту задачу автоматизация процесса ETLи отправку уведомлений по электронной почте пользователям с информацией об успешном завершении задания.
Рисунок 1. Использование компонента рабочего процесса
Давайте подробно рассмотрим этапы рабочего процесса.
Шаг 1. Циклический просмотр исходного каталога
Во-первых, объект файловой системы используется для обхода исходного каталога с целью определения пути к исходному файлу.
Рисунок 2. Указание исходного каталога
Шаг 2. Выполнение ETL
Задача «Запуск потока данных» используется для вызова потока данных внутри рабочего процесса. В этом сценарии мы вызовем существующий поток данных для выполнения процесса ETL.
Рисунок 3. Свойства объекта потока данных запуска.
Рисунок 4. Организация процесса ETL в рабочем процессе.
Поток данных используется для извлечения данных из исходных файлов, очистки необработанных данных для создания стандартизированной структуры, их обработки в соответствии с бизнес-требованиями и загрузки преобразованных данных в CRM компании Salesforce.com, как показано на рисунке 5.
Кроме того, входные и выходные переменные определяются в объекте Variables. Первый используется для предоставления пути исходного файла к исходному объекту Excel, а второй используется для передачи значения статуса задания в содержащий его рабочий процесс для принятия решений, как показано на рисунке ниже.
Рисунок 5. Процесс ETL для оптимизации рабочих процессов
Шаг 3. Отправка уведомления по электронной почте
Задача «Решение» вызывает один из двух путей рабочего процесса в зависимости от того, возвращает ли логическое выражение внутри объекта «Решение» «Да» (True) или «Нет» (False). В этом сценарии значение выходной переменной «Статус задания» передается из потока данных в рабочий процесс для принятия решений. Объект «Решение» используется для отправки электронного письма для уведомления пользователей о завершении задания или копирования файла в каталог, если задание прекращено.
Рисунок 6: Свойства решения
Рисунок 7. Использование объекта решения в рабочем процессе.
Шаг 4. Автоматизация потока ETL
Astera Centerprise имеет встроенный планировщик заданий это позволяет автоматизировать потоки ETL и оптимизировать интеграцию базы данных, указав частоту выполнения заданий. Это устраняет необходимость вручную запускать поток каждый раз при получении файла.
В этом случае поток запускается каждый раз, когда файл помещается в исходный каталог, как показано ниже.
Рисунок 8: Планирование задания
Оптимизация интеграции с Centerprise
Задания по интеграции данных включают в себя сложные рабочие процессы, которые извлекают, очищают и проверяют структурированные и неструктурированные данные. Автоматизация играет решающую роль в потоковой передаче данных, поскольку помогает повысить пропускную способность и производительность.
. AsteraКомпонент рабочих процессов позволяет визуально собирать воедино рабочие процессы любой сложности, а также масштабировать и автоматизировать весь процесс интеграции данных в реальном времени — от извлечения исходных данных до преобразования и загрузки в хранилище данных. В случае потоковой передачи в реальном времени эти данные можно затем одновременно отображать в отчетах.
Узнайте больше о возможностях интеграции данных и автоматизации рабочих процессов Astera Centerprise. Скачать бесплатно 14-дневная пробная версия версию и испытайте ее на собственном опыте!
