O Automatizado, Nenhum código Pilha de dados
Saiba como Astera O Data Stack pode simplificar e agilizar o gerenciamento de dados da sua empresa.
Modo de otimização de empilhamento em Astera Centerprise
Processo ELT que complementa a abordagem ETL tradicional para melhorar o desempenho e resultados ágeis
Introdução
ETL (Extrair, Transformar, Carregar) e ELT (Extrair, Carregar e Transformar) são duas abordagens à manipulação de dados que geralmente são confundidas com substitutos. A situação em que qualquer abordagem é usada depende de vários fatores, como o tipo de banco de dados de origem e destino, o poder de processamento do servidor de banco de dados, o volume de dados e a complexidade das transformações. Por fim, o objetivo é permitir que os usuários movam dados com eficiência em grandes volumes.
O ELT é diferenciado do ETL com base no local do processamento de transformação. Em um processo ETL, os dados são transformados na área de preparação que geralmente é colocada entre os sistemas de origem e de destino (data warehouse). Pelo contrário, em um processo ELT, as transformações ocorrem no banco de dados de destino. O mecanismo de banco de dados que liga o DBMS (Sistema de Gerenciamento de Banco de Dados) executa as transformações em um processo ELT, enquanto as transformações ocorrem em uma terceira máquina em um processo ETL. As transformações em ETL geralmente são realizadas em um servidor de banco de dados relacional que é física e logicamente separado dos sistemas de origem e de destino. Isso é feito para minimizar o impacto da atividade periódica de ETL nos sistemas de origem e destino.
ETL - abordagem de extração, transformação e carregamento
As empresas coletam e mesclam dados de várias fontes, o que resulta em heterogeneidade nas plataformas e formatos de dados. Um software ETL leva os dados de origem ao servidor para transformação e grava os dados transformados no destino. Também realiza verificações de integridade nos dados recebidos.
Uma ferramenta ETL é uma parte importante da construção de um armazém de dados. Ele pode ser usado para extrair apenas as informações relevantes, analisá-las e validá-las para se ajustarem ao formato padrão da empresa e, finalmente, carregar dados estruturados e limpos em um data warehouse. Como os dados carregados no data warehouse já estão limpos e transformados, fica mais fácil para os usuários corporativos analisá-los.
ELT - Abordagem de Extrair, Carregar e Transformar
Em certas situações, em vez de mover volumes de dados para um sistema de software ETL, os usuários podem maximizar o desempenho colocando as tabelas intermediárias no banco de dados de destino. O principal benefício de uma abordagem ELT é a economia de tempo, porque carrega os dados diretamente no destino e delega o processamento ao DBMS. Isso reduz o tempo entre o processo de extração e carregamento e, como resultado, os dados ficam prontamente disponíveis para o usuário final. No entanto, como dados não transformados são carregados nos sistemas de destino, uma interface visual elegante é o custo de oportunidade do tempo reduzido de entrega de dados. O analista da Gartner, Mei Yang Selvage, diz que "O ELT é principalmente apropriado para cargas de trabalho com transformação e limpeza limitadas. "
Modo de otimização de empilhamento
O que é o Modo de Otimização de Empilhamento?
O modo Pushdown em Astera Centerprise permite que os usuários escolham onde o processamento de dados ocorre pressionando a lógica de transformação no banco de dados de origem ou destino quando residem no mesmo servidor. Isso elimina o movimento desnecessário dos dados, reduz a latência da rede, fornecendo resultados ágeis e melhora o desempenho geral.
Como funciona a otimização de empilhamento?
A necessidade de extrair e migrar grandes volumes de dados, dos sistemas de origem para um servidor de terceiros para transformações, faz com que os usuários percam um tempo valioso. Quando o banco de dados de origem e o de destino estão no mesmo servidor, os usuários podem economizar tempo, evitando a movimentação desnecessária de dados. A execução de um trabalho no modo pushdown transfere a lógica de transformação para o banco de dados de origem ou destino. Em vez de executar o
lógica de transformação em partes, extraindo as informações da origem, aplicando transformações e carregando-as no destino, os comandos são emitidos e executados por meio de consultas SQL consolidadas geradas automaticamente. Quando as empresas precisam de processamento de dados em massa, essa abordagem gera grandes benefícios de desempenho, eliminando a movimentação de dados entre o banco de dados e o servidor ETL.
Tipos de modo de otimização de empilhamento
Existem dois tipos de modos de otimização de empilhamento:
- Modo de otimização de empilhamento completo
- Modo de otimização de empilhamento parcial
Astera CenterpriseO algoritmo inteligente de decide se o desempenho do trabalho será otimizado executando-o na otimização de empilhamento parcial
modo ou otimização de empilhamento total. A Figura 3-4 mostra consultas SQL para trabalhos que são executados nos modos de otimização de empilhamento parcial e total.
A parte destacada na figura 3 é a parte do trabalho que é executada no modo pushdown. Este exemplo está empurrando apenas parcialmente a lógica de transformação (transformação agregada) para o banco de dados de origem; portanto, é referido como empilhamento parcial.
O pushdown completo, pelo contrário, refere-se à execução de um trabalho no modo pushdown do começo ao fim. A Figura 4 mostra um exemplo de um trabalho executado em pushdown completo modo.
Uma coisa importante a ser observada aqui é que as consultas SQL correspondentes (nos dois modos) são geradas automaticamente sem a necessidade de script ou codificação manual.
Verifique o recurso de trabalho de empilhamento em Astera Centerprise
Nem todo trabalho pode ser executado no modo pushdown. Por exemplo, se os destinos de origem e destino não estiverem no mesmo banco de dados relacional, a etapa de extração e transferência de dados não poderá ser eliminada. Além disso, certas lógicas de transformação, como 'localizar', análise de nome e endereço ou processamento complexo de strings, não podem ser pressionadas.
Verifique o recurso de trabalho de empilhamento em Astera Centerprise identifica as lógicas de transformação e instruções SQL que podem ser enviadas para o banco de dados de origem ou destino.
Provedores de banco de dados suportados no Astera Modo de otimização de empilhamento
In Astera Centerprise, O modo de otimização de empilhamento é suportado pelos seguintes provedores:
1.MSSQL
2. Postgre
3 Oracle
4. SQL
5. MySQL (versão 7.3)
Conclusão
Em vez de comparar ETL e ELT (otimização de empilhamento) como abordagens diferentes para alcançar os mesmos resultados, veja-os como ferramentas diferentes projetadas para atender às diferentes necessidades de negócios. Ambas as abordagens têm seus benefícios e limitações, portanto, usá-las como ferramentas complementares, em vez de substitutas, produzirá melhores resultados para o seu negócio. Astera Centerprise oferece os dois recursos. Os usuários podem decidir sobre a abordagem considerando os fatores que afetam o processamento geral de dados.
Deseja experimentar o recurso de otimização de empilhamento em Astera Centerprise? Faça o download de uma avaliação gratuita para integrar grandes volumes de dados em velocidades incríveis.
