O Automatizado, Nenhum código Pilha de dados
Saiba como Astera O Data Stack pode simplificar e agilizar o gerenciamento de dados da sua empresa.
Apresentando o novo recurso de layout dinâmico no Astera Centerprise 8.0
Em um convencional ETL ou ELT pipeline, todo o mapeamento de dados é fortemente vinculado a um esquema definido estaticamente. Tipos de dados, número de colunas e nomes de colunas são gerados com base no layout original das tabelas de origem correspondentes.
Sob essa abordagem, quaisquer modificações nos arquivos ou tabelas de origem devem ser refletidas manualmente nos fluxos de dados e fluxos de trabalho relacionados. Embora essas tarefas sejam geralmente limitadas, em situações em que dados transacionais estão sendo recebidos de vários locais, alguns feeds de entrada podem conter colunas adicionais ou seguir convenções de registro diferentes para campos específicos. Além disso, os departamentos envolvidos geralmente estão mais do que dispostos a ajustar a forma como seus dados são comunicados continuamente.
Com layouts estáticos no lugar, os usuários podem ser obrigados a fazer vários ajustes manuais em seus mapeamentos de dados e transformações para resolver os desvios do esquema atualizado.
AsteraA nova opção de layout dinâmico do s simplifica essas tarefas demoradas com recursos intuitivos que permitem a configuração de parâmetros para entidades de origem e destino. Todas as alterações são propagadas automaticamente nos mapas de dados vinculados. Essas alterações são iniciadas com base nos caminhos e relacionamentos que já são obrigatórios em campos existentes em seus fluxos de dados e fluxos de trabalho, independentemente da estrutura visível das entidades de origem.
Com layouts dinâmicos habilitados, esses diferenciais podem ser identificados automaticamente e implementados em seus processos ETL e ELT sem interromper seus integrações de dados.
Casos de uso de layout dinâmico
Identificamos vários cenários nos quais a capacidade de automatizar alterações estruturais nos layouts seria vantajosa para nossos usuários. Os usos potenciais para esse recurso incluem:
- Atualizar layouts de fluxo de dados rapidamente quando colunas são adicionadas, removidas ou modificadas na origem
- Execução de processos semelhantes (limpeza, transformações, migrações) em vários fluxos de dados com ajuste manual mínimo.
- Criando um processo ETL ou ELT dinâmico que seleciona automaticamente arquivos diferentes de um determinado local e os carrega em novos destinos.
Esses casos de uso são explicados em mais detalhes abaixo.
Lidando com anomalias de layout
No fluxo de dados a seguir, você pode ver que a entidade de origem permite três campos padrão, que são aprimorados com uma transformação de valor variável e constante.
Objeto único atualizado em um layout dinâmico
Agora, podemos usar a tela do construtor de layout para configurar um novo parâmetro para a fonte, conforme mostrado abaixo.
Configuração de parâmetros no construtor de layout de entidade de origem
Depois que os layouts dinâmicos são ativados, a saída dessa entidade é atualizada automaticamente com todos os novos campos enviados pela mesma lógica de mapeamento. A nova estrutura da tabela aparece da seguinte maneira:
Visualização de dados mostrando campos adicionados para a entidade de origem no layout dinâmico
Podemos testar ainda mais esse recurso adicionando um campo ao arquivo de origem sem alterar o layout do objeto de origem em Astera Centerprise. Isso nos mostrará se a mudança é refletida com precisão no fluxo de dados.
Suponha que verificamos a saída no destino após executar novamente o fluxo de dados. Nesse caso, podemos ver que um diferencial foi executado automaticamente para resolver quaisquer discrepâncias entre a entidade de origem e o arquivo Excel. O campo adicional é então perfeitamente incorporado ao mapeamento existente. O processo exato ocorrerá sempre que os campos forem removidos do arquivo de origem.
Saída atualizada dinamicamente
Layouts dinâmicos em migrações de dados de alto volume
Bancos de dados atualizados dinamicamente
A eficácia real desse recurso se torna aparente quando o implementamos em um objeto de fluxo de trabalho, que seleciona uma matriz de arquivos de origem de um repositório e os executa por meio de uma série de transformações predefinidas.
Vários objetos de origem atualizados em um layout dinâmico
Acima, temos uma fonte de banco de dados dinâmica configurada para apontar para uma entrada definida na transformação da variável.
Parâmetros de configuração para a origem do banco de dados
No entanto, a transformação da variável não contém definições para um arquivo ou diretório de origem.
Nesse caso, as definições são fornecidas por uma fonte externa de itens do sistema de arquivos em um fluxo de trabalho (Ver abaixo)
Origem do sistema de arquivos externo que fornece definições para o fluxo de dados atualizado dinamicamente
Este objeto de origem é configurado para apontar para um diretório contendo 26 arquivos diferentes, cada um com um layout diferente.
Como você pode ver acima, o caminho completo e o nome do arquivo de entrada foram vinculados a um objeto variável no fluxo de dados. Esse fluxo de trabalho também foi configurado para ser executado em loop, de modo que cada arquivo no diretório de origem será selecionado e executado pelo objeto de fluxo de dados, que se adaptará dinamicamente ao novo layout e executará o arquivo de origem por meio das transformações fornecidas no último caso de uso sem a necessidade de qualquer ajuste manual pelo usuário.
Também configuramos a tabela de destino em nosso fluxo de dados original para carregar todos os arquivos transformados em um destino CSV, definido como uma versão em maiúsculas do nome do arquivo de origem, conforme indicado por uma expressão diferente na entidade variável.
Consultas SQL atualizadas dinamicamente
Nós usamos o Consulta SQL Objeto de origem para selecionar todos os campos da tabela Funcionários no banco de dados de origem no diagrama abaixo.
Origem de consulta SQL em um fluxo de dados dinâmico
Instrução SELECT
Mais uma vez, os caminhos dos parâmetros na variável dependem das entradas de um objeto de fluxo de trabalho externo, conforme visto abaixo.
Origem do fluxo de trabalho externo, fornecendo valores de parâmetro para o fluxo de dados dinâmico
Nesse caso, selecionamos uma fonte delimitada que contém um total de 26 nomes de tabelas. Este objeto é passado por uma transformação de expressão que coloca o nome da tabela fornecida em um SELECIONE afirmação
Essa instrução é então vinculada ao campo de variável de entrada sqlquery1 no fluxo de dados. Como resultado, a instrução select executada na fonte em Fig 4 será atualizado dinamicamente para selecionar dados de uma nova tabela sempre que o fluxo de dados for executado.
Cada novo fluxo de dados gerado dinamicamente também pode ser acessado individualmente se forem necessários ajustes adicionais com base na tabela de entrada.
Como você pode ver, o arquivo de origem em Fig 5 foi definido para ser executado em um loop, portanto, o fluxo de trabalho continuará fornecendo novos nomes de tabelas, que serão usados em Fig 4's Fonte de consulta SQL. Ao implementar layouts dinâmicos, os usuários podem economizar tempo e esforço gastos na criação de vários fluxos de dados individuais para realizar as mesmas operações em tabelas de origem diferentes.
Limpeza de dados e layouts dinâmicos
Outra implementação altamente eficaz de layouts dinâmicos é em operações de limpeza de dados em grande escala. Um conjunto de dados constantemente atualizado deve ser validado quanto à precisão e consistência antes de ser transmitido aos sistemas de relatórios e análises.
Em um esquema convencional, o layout deve ser atualizado manualmente sempre que os dados de origem forem atualizados. Nos casos em que a função em questão fez alterações estruturais em suas tabelas sem informar os desenvolvedores, as atividades de limpeza de dados podem ser totalmente interrompidas. Isso criará um impacto considerável na tomada de decisões nos níveis executivo e operacional.
Além disso, se várias tabelas precisarem ser limpas da mesma maneira, os desenvolvedores precisarão criar processos individuais para lidar com cada fonte.
Limpeza de dados no fluxo de dados atualizado dinamicamente
A figura acima mostra um objeto de origem que está configurado para selecionar arquivos CSV de uma fonte de entrada com base nos valores fornecidos na transformação de variável.
A entidade de destino foi configurada de forma semelhante para criar um novo destino com base nas definições fornecidas na transformação de variável.
Valores variáveis para entrada e saída
Limpeza de dados de campos de entrada
Enquanto o fluxo de dados atualmente mostra apenas um campo sendo enviado por esse processo, podemos adicionar várias colunas adicionais à fonte sem nenhum problema.
Eles serão integrados perfeitamente ao mapeamento existente com base no Identificação do Cliente campo guia, transformado e enviado para o destino recém-configurado.
Astera CenterpriseRecurso de layouts dinâmicos
Procurando propagar alterações em um objeto de destino ou criar um pipeline de fluxo de dados completo que possa responder em tempo real a atualizações e modificações em seus conjuntos de dados de origem? Astera Centerprise permite adicionar layouts dinâmicos que adicionam flexibilidade até mesmo aos mapeamentos de dados mais complexos.
Você pode agendar um consulta sem compromisso com nossa equipe técnica hoje para obter mais informações sobre este e outros recursos.
