Simplifique a integração de dados em tempo real, aproveitando fluxos de trabalho

A estudo by IDC prevê que o volume mundial de dados crescerá para enormes 175 zettabytes (ZB) até 2025. Gerenciar volumes crescentes de dados de diversas fontes pode ser uma tarefa complicada. Por esse motivo, muitas organizações aproveitam as ferramentas de integração de dados com recursos de automação de fluxo de trabalho para acelerar seus processos de dados e simplificar a integração.

Se você deseja consolidar dados transacionais, migrar dados de sistemas legados ou integrar dados de parceiros ou fornecedores, o componente de fluxo de trabalho em Astera Centerprise automatiza a execução de uma sequência de tarefas, serial ou paralela, em vários servidores. Isso ajuda a minimizar a probabilidade de erro, otimizar processos de negócios e melhorar o tempo de retorno do valor, eliminando as etapas manuais envolvidas no projeto e na implantação de fluxos de integração de dados.

Integre dados com automação de fluxo de trabalho em Centerprise

Projetado para oferecer facilidade de uso e flexibilidade, o componente do fluxo de trabalho ajuda a visualizar e automatizar todo o processo, desde os dados do ponto que entram na organização até quando são limpos, validados e carregados no destino preferido.

Automatize processos de dados usando automação de fluxo de trabalho

Encontre como

Para ilustrar os recursos de integração de dados de Astera Centerprise com a automação do fluxo de trabalho, vamos considerar um cenário em que uma empresa recebe dados de clientes em planilhas todos os meses. O requisito é limpar os dados recebidos e carregar os dados processados ​​no CRM da empresa, Salesforce.com, para uma visão unificada.

A captura de tela abaixo mostra como a funcionalidade do fluxo de trabalho no Astera Centerprise ajudou a realizar esta tarefa por automatizar o processo ETLe enviar notificações por email para usuários de informações sobre a conclusão bem-sucedida do trabalho.

Figura 1: Usando um componente de fluxo de trabalho

Vejamos as etapas envolvidas no fluxo de trabalho em detalhes.

Etapa 1: fazendo um loop pelo diretório de origem

Primeiro, um objeto Sistema de arquivos é usado para percorrer o diretório de origem para selecionar o caminho do arquivo de origem.

Figura 2: Especificando o diretório de origem

Etapa 2: Executando ETL

A tarefa Executar fluxo de dados é usada para chamar um fluxo de dados em um fluxo de trabalho. Nesse cenário, chamaremos um fluxo de dados existente para executar o processo ETL.

Figura 3: Executar propriedades do objeto Dataflow

Figura 4: Orquestrando o processo ETL em um fluxo de trabalho

O fluxo de dados é usado para extrair dados dos arquivos de origem, limpar os dados brutos para criar uma estrutura padronizada, processá-los de acordo com os requisitos de negócios e carregar os dados transformados no CRM da empresa, Salesforce.com, como mostra a figura 5.

Além disso, as variáveis ​​de entrada e saída são definidas no objeto Variáveis. O primeiro é usado para fornecer o caminho do arquivo de origem para o objeto de origem do Excel e o último é usado para passar o valor do status do trabalho para o fluxo de trabalho que o contém para a tomada de decisão, conforme mostrado na imagem abaixo.

Figura 5: Processo ETL para otimizar fluxos de trabalho

Etapa 3: Enviar notificação por email

Uma tarefa Decisão invoca um dos dois caminhos no fluxo de trabalho, dependendo se a expressão lógica dentro do objeto Decisão retorna Sim (Verdadeiro) ou Não (Falso). Nesse cenário, o valor da variável de saída 'Status do trabalho' está sendo transmitido do fluxo de dados para o fluxo de trabalho para tomada de decisão. Um objeto de decisão é usado para enviar um email para notificar os usuários quando a tarefa for concluída ou copiar o arquivo para um diretório se a tarefa for finalizada.

Figura 6: Propriedades da decisão

Figura 7: Usando um objeto de decisão no fluxo de trabalho

Etapa 4: Automatizando o fluxo ETL

Astera Centerprise tem um planejador de tarefas embutido que permite automatizar os fluxos de ETL e otimizar a integração do banco de dados especificando a frequência do trabalho. Isso elimina a necessidade de executar manualmente o fluxo sempre que um arquivo é recebido.

Nesse caso, o fluxo é executado toda vez que um arquivo é descartado no diretório de origem, conforme mostrado abaixo.

Figura 8: Agendando um trabalho

Simplifique a integração com Centerprise

As tarefas de integração de dados envolvem fluxos de trabalho complexos que extraem, limpam e validam dados estruturados e não estruturados. A automação desempenha um papel crucial no streaming de eventos de dados, pois ajuda a aumentar o rendimento e a produtividade.

utilização AsteraComo componente de fluxo de trabalho do, você pode reunir visualmente fluxos de trabalho de qualquer complexidade e escalar e automatizar todo o processo de integração de dados em tempo real - da extração dos dados de origem à transformação e carregamento no data warehouse. No caso de streaming em tempo real, esses dados podem ser exibidos por meio de relatórios simultaneamente.

Agilize a integração de dados com uma ferramenta ETL automatizada

Ver demonstração

Saiba mais sobre integração de dados e recursos de automação de fluxo de trabalho de Astera Centerprise. Baixe um grátis 14 dias de período experimental versão e experimente em primeira mão!