Обзор
Хранилища данных изначально создавались для ежегодного, ежемесячного или еженедельного обновления. В сегодняшней бизнес-среде предприятиям больше не нужно ждать, пока данные поступят в хранилища внутренних данных - им необходимо собирать данные непосредственно из основных транзакционных систем по мере их сбора. Система отслеживания измененных данных (CDC) - это набор шаблонов разработки программного обеспечения, используемых для определения и отслеживания данных, которые изменились, чтобы можно было без промедления предпринять действия с использованием измененных данных.
AsteraПакет продуктов для управления данными поддерживает различные стратегии сбора измененных данных, как в пакетном режиме, так и в режиме реального времени, что позволяет бизнесу выбрать стратегию обновления, которая оптимизирует общие процессы интеграции данных. Это особенно важно, когда данные необходимо скопировать из производственных баз данных в хранилище данных аналитики без нарушения регулярного потока данных, что имеет место, когда пользователи вынуждены ждать выполнения пакетных операций. Система отслеживания измененных данных (CDC) упрощает современную аналитику за счет использования данных, управляемых событиями, и делает интеграцию данных более гибкой для повышения операционной эффективности.
Как работает сбор данных изменений
Технология отслеживания измененных данных позволяет пользователям выбирать поля, которые необходимо проверить, а затем автоматически фиксировать вставки, обновления и удаления базы данных, чтобы сделать доступной запись того, что, где и когда изменилось, в простых реляционных таблицах. Эти таблицы «изменений» содержат метаданные, необходимые для понимания изменений в правильном контексте, что в конечном итоге способствует принятию более эффективных бизнес-решений.
Идентифицировать
AsteraТехнология CDC позволяет пользователю выбирать из множества вариантов идентификации: триггеры базы данных, временные метки и таблицы журналов для идентификации изменений. Используя эти подходы к отслеживанию измененных данных, гибридную стратегию чтения также можно развернуть визуально, определяя бизнес-правила, которые сообщают системе, какие изменения следует идентифицировать и как.
Потоки интеграции могут быть построены с использованием стратегий CDC для «прослушивания» изменений для последующего распространения. Стратегия CDC также может быть выбрана при настройке параметров загрузки хранилища данных в Astera .
захват
INSERT, UPDATE и DELETE базы данных, применяемые к таблицам SQL Server, регистрируются с помощью CDC для автоматического создания таблиц изменений, которые фиксируют, что изменилось, где и когда в отслеживаемых таблицах. Эти таблицы изменений содержат столбцы, которые отражают структуру столбцов исходной таблицы, а также метаданные, необходимые для понимания внесенных изменений.
CDC создает зеркало отслеживаемой таблицы с дополнительными столбцами для метаданных и использует его для отслеживания изменений.
Доставлять
После того, как изменения определены и записаны, AsteraМощный механизм параллельной обработки использует процессы извлечения, преобразования и загрузки (ETL) автоматически в бэкэнде для загрузки измененных данных из исходных таблиц SQL Server в хранилище данных или витрину данных для каждой транзакции или в виде агрегатов.
Поскольку CDC фиксирует изменения, сделанные в источнике данных, и применяет их по всему предприятию, он минимизирует ресурсы, необходимые для процессов ETL, поскольку он имеет дело только с изменениями данных.
Распознавать бизнес-события по мере их возникновения и автоматически
Обеспечение синхронности данных и облегчение интеграции данных в режиме реального времени с использованием AsteraChange Data Capture - мощный промышленный механизм ETL с расширенными возможностями автоматизации, позволяющий беспрепятственно распространять новые записи, сделанные в базе данных, на связанные приложения, такие как системы доставки, выставления счетов и т. д.
Ключевые особенности DWAccelerator следующие:
Соответствие современным требованиям интеграции данных в реальном времени
Развитие приложений, управляемых данными, требует все более гибкого современного подхода к интеграции данных. AsteraТехнология CDC собирает данные непосредственно из основных транзакционных систем по мере их сбора, что позволяет осуществлять интеграцию данных в режиме реального времени.
Создавайте конфигурации CDC быстро и легко
Благодаря среде перетаскивания, не содержащей кода, наши решения быстро и легко настраивают правильную стратегию CDC. Пользователи должны просто выбрать «Инкрементную загрузку» в качестве требуемой опции для требуемых объектов и определить другие параметры для постепенной загрузки новых данных из источника в хранилище данных.
Минимизируйте ресурсы, необходимые для процессов ETL
Вместо пакетно-ориентированных процессов массовой загрузки Extract-Transform-Load, которые нарушают работу и потребляют огромную вычислительную мощность, используйте CDC для сбора только измененных данных в исходных системах и передачи изменений по всему предприятию.
Получайте актуальные данные быстрее, чтобы принимать лучшие бизнес-решения
Предприятия больше не могут ждать поступления данных из внутренних хранилищ, поскольку ценность бизнес-решений зависит, прежде всего, от их своевременности. Чтобы обеспечить это, Astera предлагает своим сотрудникам самую актуальную, полную и точную информацию с помощью технологии Change Data Capture (CDC).
Выбор пакетной, почти в реальном времени и в реальном времени стратегии CDC
В зависимости от бизнес-требований и среды, легко настройте CDC для загрузки измененных данных в пакетном режиме, с определенными приращениями или доставки потока в режиме реального времени. Технология достаточно гибкая для всех ваших бизнес-стратегий.
Построить интеграционные потоки, которые «слушают» изменения базы данных
AsteraВизуальный конструктор предоставляет пользователям простой интерфейс перетаскивания для создания многократно используемых потоков данных, которые можно адаптировать к любым требованиям интеграции данных, включая возможность «прослушивать» изменения в полях базы данных и обновлять целевые системы.
Настройка CDC с использованием автоматических триггеров базы данных
AsteraCDC автоматически применяет триггеры базы данных и другие объекты идентификации изменений, такие как метки времени, историю версий и индикаторы текущего состояния, в исходных системах для отслеживания изменений.
Расширьте конфигурацию CDC, чтобы вместить большие объемы данных
Используйте передовые вычислительные мощности AsteraВысокопроизводительный движок, использующий все преимущества многоядерного и многопроцессорного оборудования для масштабирования конфигураций CDC для обработки больших объемов данных.
Выберите, извлекать ли все обновления или выбрать несколько
Функцию CDC можно настроить для захвата любой комбинации изменений, независимо от того, хотите ли вы использовать ее для полной загрузки исходной базы данных или просто настроить ее, чтобы отслеживать выбранные несколько полей на предмет изменений и постоянно обновлять их в хранилище данных.
Автоматический сбор метаданных для понимания контекста изменений
Хотя технология может отслеживать изменения и собирать эти данные, CDC также фиксирует изменения в структуре базы данных, используя свой язык определения данных (DDL), и записывает эти метаданные в отдельный столбец таблицы аудита.
