O que é o floco de neve?
Snowflake é um armazém de dados SQL relacional, desenvolvido na nuvem. É amplamente utilizado por profissionais de dados em vários setores para armazenar dados corporativos e facilitar o compartilhamento de dados. A capacidade do Snowflake de processar dados analíticos o torna adequado para usuários de negócios que desejam gerar insights para decisões de negócios melhores e mais rápidas. O banco de dados é usado como um ponto central para ETL e pipelines de dados em várias operações de dados devido à sua arquitetura exclusiva que permite dimensionamento independente para armazenamento, computação e serviços.
Como uma solução de armazenamento de dados baseada em nuvem, Floco de neve é usado principalmente para relatórios de nível superior. Para utilizar esse repositório para tarefas operacionais, como processamento de pedidos de clientes ou operações de vendas, a integração com outros sistemas locais e em nuvem é essencial. Uma vez reunidos no Snowflake, os dados podem fornecer uma visão consolidada dos ativos da empresa.
Astera Centerprise oferece integração perfeita com o banco de dados Snowflake através de um conector embutido em uma interface de arrastar e soltar. Você pode se conectar facilmente aos seus sistemas corporativos de back-end e aplicativos de dados, como Salesforce, Servidor SQL, SAP HANA, e muito mais sem escrever nenhum código ou alternar entre plataformas. Extraia, carregue e transforme dados facilmente de e para Snowflake por meio desta ferramenta de integração de dados!
Além de se conectar a este data warehouse em nuvem, Centerprise também permite que os usuários de negócios limpem, padronizem e manipulem dados brutos para que dados modernos de alta qualidade estejam disponíveis para compartilhamento dentro e fora da organização, além de relatórios, análises e BI.
Habilitando integrações de floco de neve sem código com Astera Centerprise
Ao oferecer conectividade nativa ao Snowflake, Astera Centerprise torna mais fácil para o usuário configurar o banco de dados como origem ou destino para ingestão e carregamento de dados, respectivamente. A conectividade é estendida para suportar outras funcionalidades em Centerprise, Tais como:
- Origem de Consulta SQL - Usando instruções SELECT na consulta SQL ou procedimentos armazenados, você pode buscar dados do banco de dados Snowflake.
- Pesquisa de banco de dados - Esse recurso pode pesquisar valores de uma ou mais tabelas do banco de dados Snowflake e retorná-los como campos de saída do registro no qual os valores de pesquisa corresponderam aos recebidos.
- Pesquisa de consulta SQL - Permite procurar valores no Snowflake usando instruções de consulta SQL.
- Otimização de Empilhamento - Você pode reduzir o tempo de execução do processo, empurrando para baixo dados para o banco de dados Snowflake. A carga de processamento é tratada pela capacidade de computação nativa do banco de dados, e não pelo Centerprise servidor, que otimiza o desempenho.
A built-in Centerprise O conector preenche a lacuna entre o banco de dados Snowflake e os diferentes formatos de arquivo, sistemas de banco de dados e aplicativos on-line, permitindo integrações sem código e sem complicações.
Veja como Centerprise pode ajudá-lo a aproveitar os dados armazenados no Snowflake:
Simplificando a recuperação de dados
Configurando o banco de dados Snowflake como um objeto de origem no Centerprise, você pode recuperar dados, processá-los de acordo com os requisitos comerciais e transferi-los para o sistema de destino.
Aqui está um fluxo de dados simples que lê os dados do cliente do objeto Snowflake, os filtra com base no Título do contato campo e grava-o em um arquivo do Excel.
Figura 1: Um fluxo de dados que usa o Snowflake no ponto de origem
Configurando o conector de origem for Snowflake é tão simples quanto arrastar e soltar o ícone do banco de dados do Caixa de ferramentas e inserindo detalhes da conexão. A captura de tela abaixo mostra que selecionamos o provedor de dados como Floco de neve e inseriu suas credenciais de conta.
Figura 2: Configurando a conexão com o banco de dados Snowflake
Depois de configurada a conexão, você pode selecionar a tabela de banco de dados necessária e especificar a estratégia de leitura no Propriedades janela. No Centerprise, você pode recuperar dados ao mesmo tempo ou incrementalmente. Aqui, selecionamos o Carga máxima opção.
Você pode até dividir os dados recebidos em partições e Centerprise irá lê-lo de acordo com o número de partições especificado. A leitura particionada é usada para restringir a quantidade de dados varridos por cada consulta, melhorando o desempenho e reduzindo a carga no banco de dados.
Figura 3: Especificando opções de leitura do banco de dados
Nesse conector de banco de dados de origem, você também pode especificar os parâmetros que devem receber valores do arquivo de configuração. Ao executar o fluxo de dados, os valores de propriedade correspondentes serão substituídos pelos parâmetros de configuração, sem que os usuários tenham que fazer alterações manualmente.
Após especificar a conexão e as propriedades, o fluxo de dados é executado e os dados do Snowflake são processados e armazenados na planilha do Excel.
Acelerando o carregamento de dados
O banco de dados Snowflake também pode ser configurado como um banco de dados de destino, permitindo que você consolide e grave informações no data warehouse ou data lake na nuvem.
Para ilustrar como o Snowflake pode ser usado como um ponto de extremidade de destino, vamos usar um fluxo de dados simples:
Figura 4: Um fluxo de dados simples que usa o Snowflake como um sistema de destino
Esse fluxo de dados combina Order dados de duas tabelas diferentes no SQL Server e os carrega no Snowflake. O método de configuração do conector de banco de dados é idêntico ao conector de fonte de dados, exceto quando o usuário deseja carregar dados em massa. Ao habilitar o Amazon S3 Bucket para preparação, você pode aproveitar ao máximo sua conta da AWS existente e aproveitar os buckets do S3 para engenharia de dados, gerenciamento e armazenamento.
Figura 5: Ativando o bucket do Amazon S3
A próxima etapa envolve a especificação das propriedades, selecionando uma das tabelas existentes no banco de dados ou criando uma nova. Além disso, você pode especificar como o mapeamento funciona para as portas de entrada. Aqui, nós selecionamos Portas individuais para ações que insere todos os registros individualmente para novas tabelas de banco de dados.
Figura 6: Especificando propriedades do banco de dados de destino
Centerprise suporta diferentes opções de carregamento de banco de dados, como você pode ver na captura de tela acima, para selecionar a preferida, dependendo da natureza do seu fluxo de dados. Nesse fluxo de dados, estamos carregando várias linhas de dados no banco de dados usando o método Inserção em massa com tamanho de lote opção.
Depois que as propriedades forem especificadas, a execução do fluxo de dados carregará os dados processados no banco de dados Snowflake.
Liberte o poder do banco de dados Snowflake com Astera Centerprise
Veja como as integrações de armazenamento do Snowflake podem ajudá-lo a melhorar suas operações de negócios e tecnologia:
Ofereça conectividade contínua
Conecte e receba facilmente dados corporativos de origens díspares e na nuvem diferentes no Snowflake on AWS, sem codificação manual. Oferecendo suporte para uma variedade de fontes estruturadas, não estruturadas e semiestruturadas, Centerprise permite conectividade perfeita entre sistemas corporativos heterogêneos e o banco de dados Snowflake.
Ativar integração de autoatendimento
A interface do usuário visual fácil de usar, transformações predefinidas e conectores internos no Centerprise capacitar os usuários de negócios a executar trabalhos de integração do Snowflake com o mínimo de suporte de suas equipes de TI.
Escala para necessidades corporativas
Organize os fluxos de ETL para alavancar a arquitetura flexível e a simultaneidade do Snowflake e transfira dados com segurança em ambientes híbridos na velocidade dos requisitos da sua empresa.
Alcance decisões mais rapidamente
Gere insights a partir de dados do Snowflake e permita que as partes interessadas e os parceiros acessem as informações com segurança quando precisarem tomar decisões mais rápidas baseadas em dados e otimizar as operações comerciais do dia-a-dia.
Automatize as integrações do Snowflake
Use o automação de fluxo de trabalho recursos de agendamento de tarefas Centerprise para automatizar suas integrações de armazenamento do Snowflake e encurtar sua jornada de tempo para obter insights, reduzindo o tempo de execução do processo.
A escalabilidade elástica do Snowflake o torna uma escolha excelente para empresas que procuram data warehouses de nível empresarial. Usando o conector nativo do Snowflake no Astera Centerprise, os usuários de negócios podem se conectar com segurança ao banco de dados e usar seus dados para alimentar seus processos finais.
Faça o download do Trial Version of Astera Centerprise e experimente em primeira mão os recursos de integração da nossa plataforma.
autores:
- Tehreem Naeem