Visão geral
Os data warehouses foram originalmente construídos para serem atualizados anualmente, mensalmente ou semanalmente. No ambiente de negócios atual, as empresas não podem mais esperar que os dados cheguem aos armazenamentos de dados de back-end - elas precisam capturar os dados diretamente dos sistemas transacionais centrais à medida que são coletados. Change Data Capture (CDC) é um conjunto de padrões de design de software usados para determinar e rastrear dados que foram alterados para que uma ação possa ser tomada usando os dados alterados sem demora.
AsteraO conjunto de produtos de gerenciamento de dados da empresa oferece suporte a uma variedade de estratégias de captura de dados alterados, em lote e em tempo real, permitindo que uma empresa selecione uma estratégia de atualização que otimize os processos abrangentes de integração de dados. Isso é especialmente importante quando os dados precisam ser copiados de bancos de dados de produção para um data warehouse analítico sem interromper o fluxo regular de dados, que é o caso quando os usuários são forçados a esperar por execuções em lote. O Change Data Capture (CDC) simplifica a análise moderna, aproveitando os dados orientados por eventos e tornando a integração de dados mais ágil para oferecer maior eficiência operacional.
Como o Change Data Capture funciona
A tecnologia Change Data Capture permite que os usuários selecionem os campos que precisam ser auditados e, em seguida, capturem inserções, atualizações e exclusões do banco de dados automaticamente para disponibilizar um registro do que foi alterado, onde e quando, em tabelas relacionais simples. Essas tabelas de “mudança” contêm os metadados necessários para entender as mudanças no contexto certo, levando a melhores decisões de negócios.
Identifique
AsteraA tecnologia CDC da permite ao usuário escolher entre várias opções de identificação: acionadores de banco de dados, registros de data e hora e tabelas de log para identificar alterações. Usando essas abordagens de captura de dados de mudança, uma estratégia de leitura híbrida também pode ser implementada visualmente, definindo regras de negócios que dizem ao sistema quais mudanças identificar e como.
Os fluxos de integração podem ser construídos usando estratégias do CDC para "escutar" as alterações para propagação subsequente. A estratégia do CDC também pode ser selecionada ao definir as configurações de carregamento do armazém de dados no diretório Astera plataforma.
captura
INSERTs, UPDATEs e DELETEs do banco de dados aplicados às tabelas do SQL Server são capturados usando o CDC para criar automaticamente tabelas de alterações que capturam o que mudou, onde e quando nas tabelas que estão sendo rastreadas. Essas tabelas de alterações contêm colunas que refletem a estrutura da coluna da tabela de origem, juntamente com os metadados necessários para entender as alterações que foram feitas.
O CDC cria um espelho da tabela rastreada, com colunas adicionais para metadados e a utiliza para monitorar as alterações.
Entregar
Depois que as alterações são identificadas e registradas, AsteraO poderoso mecanismo de processamento paralelo usa os processos Extrair, Transformar e Carregar (ETL) automaticamente no back-end para carregar dados alterados das tabelas de origem do SQL Server para o data warehouse ou data mart, por transação ou em agregados.
Como o CDC captura as alterações feitas em uma fonte de dados e as aplica em toda a empresa, minimiza os recursos necessários para os processos de ETL, porque lida apenas com as alterações de dados.
Reconheça eventos de negócios à medida que ocorrem e capturam automaticamente
Garantir a sincronicidade dos dados e facilitar a integração de dados em tempo real usando AsteraCom o mecanismo ETL de força industrial com recursos avançados de automação, o Change Data Capture permite a propagação contínua de novas entradas feitas no banco de dados para aplicativos associados, como sistemas de remessa, faturamento etc.
Principais recursos do DWAccelerator incluem:
Atenda aos requisitos modernos de integração de dados em tempo real
A evolução dos aplicativos orientados a dados requer uma abordagem moderna e cada vez mais ágil da integração de dados. AsteraA tecnologia CDC captura dados diretamente dos principais sistemas transacionais à medida que são reunidos, permitindo, portanto, a integração de dados em tempo real.
Crie configurações do CDC de maneira rápida e fácil
Com o ambiente de arrastar e soltar, sem código, de nossas soluções, a configuração da estratégia CDC correta é rápida e fácil. É necessário que os usuários selecionem 'Carga incremental' como a opção desejada para as entidades necessárias e defina outras configurações para carregar novos dados de forma incremental de uma fonte para um data warehouse.
Minimize os recursos necessários para processos ETL
Em vez de processos de extração, transformação e carregamento de carga em massa, orientados para lotes, que interrompem a produção e consomem grande poder de processamento, use o CDC para capturar apenas dados alterados nos sistemas de origem e entregar as alterações em toda a empresa.
Obtenha dados atualizados mais rapidamente para tomar melhores decisões de negócios
As empresas não podem mais esperar que os dados cheguem das lojas de back-end, pois o valor das decisões de negócios se baseia principalmente em sua pontualidade. Para garantir isso, Astera oferece a seus funcionários a versão mais atual, completa e precisa das informações com sua tecnologia Change Data Capture (CDC).
Escolha de estratégias em lote, quase em tempo real e em tempo real do CDC
Dependendo dos requisitos e do ambiente de negócios, configure o CDC facilmente para carregar dados alterados em lotes, em incrementos definidos ou entregar o fluxo em tempo real. A tecnologia é flexível o suficiente para todas as suas estratégias de negócios.
Crie fluxos de integração que "escutem" as alterações no banco de dados
AsteraO construtor visual do fornece aos usuários uma interface simples de arrastar e soltar para criar fluxos de dados reutilizáveis que podem ser adaptados para atender a qualquer requisito de integração de dados, incluindo a capacidade de "ouvir" as alterações nos campos do banco de dados e atualizar os sistemas de destino.
Configurar o CDC usando gatilhos automatizados de banco de dados
AsteraO CDC aplica automaticamente gatilhos de banco de dados e outros objetos de identificação de alterações, como registros de data e hora, histórico de versões e indicadores de status atuais nos sistemas de origem para observar mudanças.
Escale a configuração do CDC para acomodar grandes volumes de dados
Aproveite o poder avançado de processamento de AsteraO mecanismo de alto desempenho que tira o máximo proveito do hardware multicore e multiprocessador para aumentar as configurações do CDC para um manuseio maciço do volume de dados.
Escolha se deseja extrair todas as atualizações ou algumas poucas
O recurso CDC pode ser configurado para capturar qualquer combinação de alterações, se você deseja usá-lo para carregar o banco de dados de origem por completo ou apenas configurá-lo para observar alguns campos selecionados para alterações e atualizá-los continuamente no armazém de dados.
Capturar metadados automaticamente para entender o contexto das alterações
Embora a tecnologia possa observar mudanças e capturar esses dados, o CDC também captura mudanças na estrutura do banco de dados usando sua DDL (Data Definition Language) e registra esses metadados em uma coluna separada da tabela de auditoria.
