Construindo um data warehouse: um guia passo a passo

Construir um data warehouse foi visto por muito tempo como um procedimento complexo que exigia conhecimento significativo em diversas, mas relacionadas, áreas dentro gestão de dados. De gerenciamento de banco de dados para construir modelos de dados para implementar ETL processos, construir um data warehouse levaria facilmente meses. No entanto, os avanços na tecnologia levaram à disponibilidade de cada vez mais ferramentas e plataformas que fornecem soluções acessíveis e simplificadas para usuários de todos os tipos.

Neste artigo, aprenderemos tudo sobre a construção de um data warehouse. Especificamente, os pré-requisitos para construir um data warehouse, incluindo um guia passo a passo e as melhores práticas.

 

Pré-requisitos para construir um data warehouse

Os pré-requisitos para construir um data warehouse podem variar bastante, dependendo dos requisitos do seu negócio. Normalmente, porém, você precisaria considerar os seguintes critérios antes de começar a construir seu data warehouse:

Planejando o Blueprint do Data Warehouse

Esta é a fase fundamental onde você estabelece as bases para o seu data warehouse. O blueprint define a direção do projeto e é fundamental para garantir que o produto final esteja alinhado com as necessidades e objetivos do seu negócio. Além disso, o seu plano estratégico também deve orientar o escopo e o design do seu data warehouse.

Comece desenvolvendo objetivos de negócios claros. É essencial envolver líderes de negócios, usuários finais, equipes de TI e outras partes interessadas desde o início, pois é aqui que você precisa responder a perguntas como: por que você precisa construir um data warehouse? Abrangerá toda a organização ou focará em departamentos ou funções de negócios específicos? Quais processos de negócios serão suportados? Como isso agregará valor? Garantir a adesão das partes interessadas e definir estes objectivos influenciará todas as decisões subsequentes – o seu apoio garantirá que o projecto receba a atenção e os recursos necessários.

A estratégia de armazenamento de dados descreve como sua organização coleta, armazena, gerencia e usa os dados. Portanto, como parte desta fase, você também precisa estabelecer políticas de governança de dados específicas para o seu negócio. Essas políticas definem quem é responsável por diversas decisões e processos relacionados a dados, como qualidade de dados é garantida e como lidar com questões de segurança e privacidade de dados.

Montando uma equipe qualificada

Construir um data warehouse é uma tarefa complexa que requer uma equipe diversificada de profissionais. Esta etapa garante que seu projeto esteja bem equipado com os talentos necessários para construir, implantar e manter um data warehouse que atenda às suas necessidades analíticas.

Embora o sucesso da equipa dependa em grande parte dos seus membros, ela deve possuir colectivamente uma combinação de competências técnicas. Normalmente, você precisaria de pessoas com experiência em SQL, processos ETL e modelagem de dados, bem como alguém com capacidade de gerenciamento de projetos e um forte conhecimento do domínio de negócios. Resumindo, idealmente sua equipe deve ser composta por:

• arquitetos de dados para projetar o sistema
• engenheiros de dados para construí-lo e mantê-lo
• analistas de negócios para garantir que atenda às necessidades do usuário
• administradores de banco de dados para gerenciar o armazenamento de dados
• gerentes de projeto para manter tudo sob controle

Protegendo recursos essenciais

Além de uma equipe de profissionais, você também precisará de um orçamento para a configuração e implementação inicial e para as operações e manutenção contínuas do seu data warehouse. Isso inclui a infraestrutura para hospedar seu data warehouse, as ferramentas certas para gerenciar e processar seus dadose medidas de segurança para protegê-lo.

A configuração inicial e a implementação são normalmente as fases que mais consomem recursos, exigindo investimentos em:

• serviços de hardware ou nuvem
• licenças de software
• e serviços profissionais para design e desenvolvimento

Também é importante que você considere os custos associados integração de dados e a necessidade potencial de desenvolvimento personalizado para garantir que você possa contabilizar todas as suas fontes de dados. Alternativamente, você pode optar por um ferramenta de integração de dados sem código que vem com conectores integrados para várias fontes e destinos.

Estabelecendo uma Estrutura Técnica

O próximo passo é um plano de avaliação abrangente que garanta a prontidão técnica e de dados. O objetivo é avaliar o desempenho e a escalabilidade dos sistemas atuais e destacar os seus pontos fortes e fracos, juntamente com a identificação de oportunidades de melhorias. Conduza uma análise aprofundada da infraestrutura de dados atual avaliando o hardware existente, as configurações de rede e quaisquer serviços em nuvem.

O exercício envolve catalogar todas as fontes de dados disponíveis para sua organização, por exemplo, sistemas internos como CRM e ERP, dados externos de parceiros e fontes de dados de streaming, como dispositivos IoT. A identificação de fontes de dados permite mapear o cenário de dados e compreender a natureza e a relevância comercial de cada fonte de dados.

A aquisição dos componentes técnicos necessários também é um passo fundamental nesta fase preliminar de construção de um data warehouse. Inclui a seleção de ferramentas e plataformas que auxiliam na implementação da estratégia de dados da sua organização. Para Ferramentas ETL, considere fatores como as fontes de dados, transformação de dados necessidades, integração com outros sistemas, etc.

Da mesma forma, determine as opções de armazenamento de dados mais adequadas, considerando a capacidade necessária e a velocidade de acesso. Identifique se há necessidade de uma combinação de soluções de armazenamento locais, baseadas em nuvem ou híbridas. Equipe sua equipe de dados com ferramentas sofisticadas de modelagem de dados que permitem a construção de um sólido arquitetura de armazém de dados.

Construindo um Data Warehouse: Automatizando a Fase de Execução

Depois de ter os pré-requisitos em ordem, a próxima etapa é implementar o plano e construir seu data warehouse.

Automatizado ferramentas de construção de data warehouse, como Astera Construtor de Data Warehouse, eliminou inúmeras tarefas padrão e repetitivas envolvidas no ciclo de vida do armazenamento de dados apenas alguns passos simples.

Astera Data Warehouse Builder é uma plataforma ponta a ponta que simplifica e acelera o processo de construção de um data warehouse. Sua interface de arrastar e soltar permite projetar seus modelos de dados e processos ETL sem escrever uma única linha de código. Os conectores integrados permitem fácil integração com uma variedade de sistemas de origem e destino, seja no local ou na nuvem. AsteraOs recursos integrados de qualidade de dados do garantem que apenas dados íntegros cheguem ao seu data warehouse para BI, análises e relatórios precisos.

Vamos pegar um caso de uso para ilustrar o processo de construção de um data warehouse usando Asteraconstrutor de data warehouse sem código.

O caso de uso:

Shop-Stop é uma loja de varejo on-line fictícia que mantém seus dados de vendas em um banco de dados SQL. A empresa decidiu recentemente implementar um data warehouse para obter uma arquitetura de relatórios sólida e melhorar o BI e a análise. No entanto, a sua equipa de TI e os especialistas técnicos argumentam que o capital e os recursos necessários para executar e manter todo o processo podem ser reduzidos significativamente através de um ferramenta automatizada de armazenamento de dados.

Shop-Stop decide usar Astera Data Warehouse Builder para projetar, construir, implantar e manter seu data warehouse. Vamos dar uma olhada em como é o processo de construção de um data warehouse usando Astera parece.

Construindo um Data Warehouse Etapa 1: Criando um Modelo de Dados de Origem

A primeira etapa na construção de um data warehouse é identificar e modelar os dados de origem. Depois de adicionar um novo modelo de dados ao projeto, você pode fazer engenharia reversa em seu banco de dados, neste caso o banco de dados de vendas do Shop-Stop, para criar um modelo de dados de origem usando o Engenharia reversa ícone na barra de ferramentas do modelo de dados com apenas um clique. Fazer isso cria o modelo de dados automaticamente. Cada entidade neste modelo de dados representa uma tabela que contém os dados de origem do Shop-Stop. É assim que parece:

 

Depois de ter o modelo de dados, você poderá verificá-lo para garantir que esteja livre de erros e avisos. Para isso, basta clicar no Verifique a implantação de leitura e gravação opção na barra de ferramentas principal. Aqui está uma captura de tela:

 

Após verificar o modelo, você pode implantá-lo no servidor e disponibilizá-lo para uso em Tubulações ETL (assim como ELT) ou para análise de dados. Veja como fazê-lo. Agora que você criou, verificou e implantou um modelo de dados de origem, vamos para a próxima etapa.

Construindo um Data Warehouse Etapa 2: Construir e Implantar um Modelo Dimensional

A próxima etapa do processo é projetar um modelo dimensional que servirá como esquema de destino para o data warehouse do Stop-Stop. Você pode usar o Entidade objeto disponível na caixa de ferramentas do modelo de dados e na interface de arrastar e soltar do modelador de dados para projetar um modelo do zero.

Como o Shop-Stop já possui um esquema de data warehouse em um banco de dados SQL, você terá que fazer engenharia reversa do banco de dados. Novamente, cada entidade no modelo de data warehouse resultante representa uma tabela no data warehouse final do Shop-Stop.

 

Em seguida, você precisa converter este modelo em um modelo dimensional atribuindo fatos e dimensões. O tipo para cada entidade é definido como Geral por padrão quando um banco de dados passa por engenharia reversa. Você pode alterar convenientemente o tipo para Fato or Dimensão clicando com o botão direito na entidade, passando o mouse sobre Tipo de entidade no menu de contexto e selecionando um tipo apropriado entre as opções fornecidas.

 

A entidade Venda no centro é a entidade de fato, sendo o restante entidades de dimensão.

Depois de definir seus fatos e dimensões, você precisará configurá-los para armazenamento e recuperação aprimorados de dados, atribuindo funções específicas aos campos presentes no layout de cada entidade.

Para entidades de dimensão, o Função da dimensão coluna no Construtor de layout fornece uma lista abrangente de opções. Esses incluem:

• Chave substituta
• Chave de Negócios
• Tipos de dimensão que mudam lentamente (SCD1, SCD2, SCD3 e SCD6)
• Identificadores de registro para acompanhar dados históricos (datas de vigência e expiração, designador de registro atual e número de versão)
• Dimensão de espaço reservado para acompanhar fatos e dimensões que chegam mais tarde e mais cedo

 

Da mesma forma, a entidade de fato Construtor de layout contém um Papel do fato coluna que permite atribuir o Chave da data da transação função para um dos campos. Aqui está como o layout do Venda entidade ficará assim que você atribuir o Chave da data da transação função para um campo:

Com seu modelo dimensional pronto, você pode verificá-lo e implantá-lo para uso posterior.

Construindo um Data Warehouse Etapa 3: Preencher o Data Warehouse

Agora é hora de preencher o data warehouse do Shop-Stop carregando dados de origem relevantes nas tabelas usando pipelines ETL. Astera permite que você construa ETL e ELT pipelines usando seu designer de fluxo de dados.

Para fazer isso, você terá que adicionar um novo fluxo de dados ao projeto de data warehousing. Use o extenso conjunto de objetos disponíveis na caixa de ferramentas de fluxo de dados para projetar o processo ETL. Use o Carregador de fatos e Carregador de dimensões objetos para carregar dados em tabelas de fatos e dimensões, respectivamente.

Aqui está o fluxo de dados para carregar dados no Experiência e dinâmica de loja a mesa se parece com:

À esquerda está o Fonte da tabela de banco de dados objeto que busca dados de uma tabela na tabela de origem. À direita, o Carregador de dimensões objeto carrega dados na tabela relevante no modelo dimensional de destino.

Para conectar cada um desses objetos aos seus respectivos modelos, você precisará configurar o objeto de origem com a implantação do modelo de dados de origem:

 

Da mesma forma, configure o objeto Dimensional Loader com a implantação do modelo dimensional de destino, conforme imagem abaixo:

Observe que você precisará projetar o fluxo de dados para carregar dados na tabela de fatos de maneira diferente. Isso ocorre porque ele contém campos de diversas tabelas de origem, mas o Fonte da tabela de banco de dados objeto só pode extrair dados de uma tabela de origem por vez.

Em vez disso, você pode usar o Fonte de consulta do modelo de dados objeto, que permite extrair várias tabelas do modelo de origem selecionando uma entidade raiz. Isso é mostrado na imagem abaixo:

 

Agora que você projetou todos os seus fluxos de dados, você pode executar cada um deles para preencher o data warehouse do Shop-Stop com seus dados de vendas. Para evitar a execução de todos os fluxos de dados individualmente, projete um fluxo de trabalho para orquestrar todo o processo.

 

Por fim, automatize o processo de atualização desses dados por meio do Job Scheduler integrado. Para acessar o agendador de tarefas, vá para Servidor > Agendamentos de Trabalho no menu principal.

 

No Scheduler guia, você pode criar um novo agendamento para automatizar o processo de execução em uma determinada frequência.

 

Construindo um Data Warehouse Etapa 4: Visualizar e Analisar

Depois de projetar e implantar seu data warehouse, você poderá integrá-lo às ferramentas de análise e visualização líderes do setor, como Power BI, Tableau, Domo, etc., por meio de um serviço OData integrado.

 

Melhores práticas para construir um data warehouse

Construir um data warehouse é uma coisa, mas fazê-lo de maneira eficiente e que forneça resultados eficazes é um desafio totalmente diferente – um desafio que aproveita as melhores práticas.

Comece com uma estratégia de data warehouse

Sempre comece com uma estratégia clara que descreva os objetivos de negócios, o escopo dos seus dados, a abordagem arquitetônica e como o seu data warehouse evoluirá ao longo do tempo. Sua estratégia de data warehouse deve estar alinhada com a estratégia geral de negócios e atender às necessidades específicas de análise e relatórios.

Automatize tudo que você puder

Embora não possa ser feito muito para acelerar a fase inicial de planejamento, você pode reduzir significativamente o tempo e os requisitos de recursos quando se trata de execução. Aproveite ferramentas como ferramentas de armazenamento de dados, ferramentas de integração de dados, etc. para automatizar e acelerar tarefas repetitivas e trabalhosas.

Preste atenção à qualidade dos dados

Suas análises e relatórios serão tão bons quanto a qualidade dos dados com os quais você preenche seu data warehouse. Garantir gerenciamento de qualidade de dados implementando processos robustos para limpeza, desduplicação e validação de dados.

Adote uma arquitetura escalável

À medida que os volumes de dados crescem e as necessidades dos negócios mudam, seu data warehouse deve ser capaz de se adaptar sem exigir grandes reformulações. O uso de uma arquitetura modular que permite escalabilidade e flexibilidade garante que seu data warehouse possa ser integrado a tecnologias mais recentes sem um investimento pesado.

Implemente um processo ETL robusto

Projete pipelines de ETL que sejam robustos o suficiente para lidar com dados de alto volume quase em tempo real. Automatize o processo ETL tanto quanto possível para minimizar a intervenção manual e garantir integridade de dados.

Construa seu data warehouse com Astera

Construir um data warehouse pode facilmente se tornar um processo que consome muitos recursos e tempo, dada a complexidade de integração e organização de grandes volumes de dados de diversas fontes – fontes que continuam a aumentar à medida que sua empresa cresce. É por isso que as organizações modernas aproveitam a automação soluções de gerenciamento de dados para acelerar o desenvolvimento de seus data warehouses.

Você está com um cronograma apertado que exige a construção de um data warehouse em dias, não meses? Entre em contato com um de nossos especialistas em soluções em +1 888-77-ASTERA. Alternativamente, você pode baixar um 14-day free trial or ver demonstração.