O Automatizado, Nenhum código Pilha de dados
Saiba como Astera O Data Stack pode simplificar e agilizar o gerenciamento de dados da sua empresa.
Simplifique a integração de dados em tempo real, aproveitando fluxos de trabalho
A estudo by IDC prevê que o volume mundial de dados crescerá para enormes 175 zettabytes (ZB) até 2025. Gerenciar volumes crescentes de dados de diversas fontes pode ser uma tarefa complicada. Por esse motivo, muitas organizações aproveitam as ferramentas de integração de dados com recursos de automação de fluxo de trabalho para acelerar seus processos de dados e simplificar a integração.
Se você deseja consolidar dados transacionais, migrar dados de sistemas legados ou integrar dados de parceiros ou fornecedores, o componente de fluxo de trabalho em Astera Centerprise automatiza a execução de uma sequência de tarefas, serial ou paralela, em vários servidores. Isso ajuda a minimizar a probabilidade de erro, otimizar processos de negócios e melhorar o tempo de retorno do valor, eliminando as etapas manuais envolvidas no projeto e na implantação de fluxos de integração de dados.
Integre dados com automação de fluxo de trabalho em Centerprise
Projetado para oferecer facilidade de uso e flexibilidade, o componente do fluxo de trabalho ajuda a visualizar e automatizar todo o processo, desde os dados do ponto que entram na organização até quando são limpos, validados e carregados no destino preferido.
Para ilustrar os recursos de integração de dados de Astera Centerprise com a automação do fluxo de trabalho, vamos considerar um cenário em que uma empresa recebe dados de clientes em planilhas todos os meses. O requisito é limpar os dados recebidos e carregar os dados processados no CRM da empresa, Salesforce.com, para uma visão unificada.
A captura de tela abaixo mostra como a funcionalidade do fluxo de trabalho no Astera Centerprise ajudou a realizar esta tarefa por automatizar o processo ETLe enviar notificações por email para usuários de informações sobre a conclusão bem-sucedida do trabalho.
Figura 1: Usando um componente de fluxo de trabalho
Vejamos as etapas envolvidas no fluxo de trabalho em detalhes.
Etapa 1: fazendo um loop pelo diretório de origem
Primeiro, um objeto Sistema de arquivos é usado para percorrer o diretório de origem para selecionar o caminho do arquivo de origem.
Figura 2: Especificando o diretório de origem
Etapa 2: Executando ETL
A tarefa Executar fluxo de dados é usada para chamar um fluxo de dados em um fluxo de trabalho. Nesse cenário, chamaremos um fluxo de dados existente para executar o processo ETL.
Figura 3: Executar propriedades do objeto Dataflow
Figura 4: Orquestrando o processo ETL em um fluxo de trabalho
O fluxo de dados é usado para extrair dados dos arquivos de origem, limpar os dados brutos para criar uma estrutura padronizada, processá-los de acordo com os requisitos de negócios e carregar os dados transformados no CRM da empresa, Salesforce.com, como mostra a figura 5.
Além disso, as variáveis de entrada e saída são definidas no objeto Variáveis. O primeiro é usado para fornecer o caminho do arquivo de origem para o objeto de origem do Excel e o último é usado para passar o valor do status do trabalho para o fluxo de trabalho que o contém para a tomada de decisão, conforme mostrado na imagem abaixo.
Figura 5: Processo ETL para otimizar fluxos de trabalho
Etapa 3: Enviar notificação por email
Uma tarefa Decisão invoca um dos dois caminhos no fluxo de trabalho, dependendo se a expressão lógica dentro do objeto Decisão retorna Sim (Verdadeiro) ou Não (Falso). Nesse cenário, o valor da variável de saída 'Status do trabalho' está sendo transmitido do fluxo de dados para o fluxo de trabalho para tomada de decisão. Um objeto de decisão é usado para enviar um email para notificar os usuários quando a tarefa for concluída ou copiar o arquivo para um diretório se a tarefa for finalizada.
Figura 6: Propriedades da decisão
Figura 7: Usando um objeto de decisão no fluxo de trabalho
Etapa 4: Automatizando o fluxo ETL
Astera Centerprise tem um planejador de tarefas embutido que permite automatizar os fluxos de ETL e otimizar a integração do banco de dados especificando a frequência do trabalho. Isso elimina a necessidade de executar manualmente o fluxo sempre que um arquivo é recebido.
Nesse caso, o fluxo é executado toda vez que um arquivo é descartado no diretório de origem, conforme mostrado abaixo.
Figura 8: Agendando um trabalho
Simplifique a integração com Centerprise
As tarefas de integração de dados envolvem fluxos de trabalho complexos que extraem, limpam e validam dados estruturados e não estruturados. A automação desempenha um papel crucial no streaming de eventos de dados, pois ajuda a aumentar o rendimento e a produtividade.
utilização AsteraComo componente de fluxo de trabalho do, você pode reunir visualmente fluxos de trabalho de qualquer complexidade e escalar e automatizar todo o processo de integração de dados em tempo real - da extração dos dados de origem à transformação e carregamento no data warehouse. No caso de streaming em tempo real, esses dados podem ser exibidos por meio de relatórios simultaneamente.
Saiba mais sobre integração de dados e recursos de automação de fluxo de trabalho de Astera Centerprise. Baixe um grátis 14 dias de período experimental versão e experimente em primeira mão!
