O Automatizado, Nenhum código Pilha de dados
Saiba como Astera O Data Stack pode simplificar e agilizar o gerenciamento de dados da sua empresa.
Práticas recomendadas para um design de arquitetura escalável do Data Mart
Um escalável data mart o design da arquitetura pode reduzir o risco de perda de dados, bem como os custos e o tempo de implementação, pois se concentra principalmente em um subconjunto de dados em vez de dados corporativos completos. Portanto, os data marts são frequentemente considerados como um dos mecanismos mais eficazes para fornecer suporte de decisão rápido e consistente.
Embora um data mart diminua significativamente o risco associado ao desenvolvimento de um sistema de suporte à decisão (DSS), ele precisa de proficiência e conhecimento para implementá-lo corretamente.
Neste artigo, começaremos fornecendo a definição de um data mart, discutiremos alguns exemplos e, em seguida, aprofundaremos uma lista compilada de práticas recomendadas que ajudarão você a projetar facilmente uma arquitetura de data mart escalável e independente para suas necessidades de negócios.
Do princípio
Definição de Data Mart
Data mart é definido como uma versão abreviada ou condensada de uma empresa data warehouse. Ele extrai informações de um número menor de recursos em comparação com um data warehouse. A arquitetura de data mart atende às necessidades de unidades de negócios, funções ou departamentos muito específicos.
Data Marts Explicados
Por que uma empresa precisa de um data mart?
Existem vários benefícios no desenvolvimento de uma arquitetura de data mart independente para usuários de negócios, como:
- Ao reduzir o volume de dados, um data mart ajuda a melhorar o tempo de resposta do usuário e oferece acesso rápido aos dados usados com frequência.
- É fácil de implementar com muito menos custo, em comparação com a implementação de um data warehouse completo.
- É escalonável e ágil, o que é útil ao trocar de modelo.
- Os dados são segregados no data mart, o que permite mais controle sobre os direitos dos dados, ou seja, quem pode ver e modificar os dados.
- Os dados podem ser armazenados e organizados em plataformas distintas de hardware ou software.
Práticas recomendadas para o design de arquitetura do Data Mart
Para garantir a eficiência e a escalabilidade de sua arquitetura de data mart empresarial, siga estas dicas de design de data warehouse.
1. Defina o escopo do Data Mart
Antes de pular para a fase de implementação do modelo de data mart empresarial, é essencial ter um plano infalível que leve em consideração todas as necessidades e prioridades de negócios de todos os membros da equipe e usuários finais.
Comece descrevendo o escopo do projeto, destacando todos os riscos e limitações. Isso ajudará a definir as expectativas corretas e estimar as despesas.
Pode ser necessário ajustar os requisitos com relação aos recursos (como recursos humanos, técnicos e financeiros) para acompanhar a data de conclusão planejada.
À luz desse escopo, desenvolva a lista dos principais produtos a serem entregues e aloque tarefas à sua equipe.
2. Preste atenção ao modelo do Logical Data Mart
Um modelo lógico de data mart é um design teórico e intangível que organiza os dados em termos de relações lógicas conhecidas como entidades e atributos. Uma entidade é um item de dados, enquanto um atributo ajuda a definir a exclusividade da entidade.
Ao definir a arquitetura do data mart, concentre-se nas necessidades do seu negócio. Mapear dados de origem para informações orientadas por assunto no destino data mart esquema. A fonte modelo de dados e os requisitos do usuário final são os elementos essenciais usados para projetar um esquema de data mart.
Pode ser necessário modificar a implementação física do modelo de dados lógicos com base nos parâmetros do sistema, como tamanho do computador, número de operadores, armazenamento em disco, tipo de rede e software.
3. Identifique dados relevantes
Geralmente, os elementos de dados são identificados com base nos requisitos de negócios. No entanto, é possível que você precise ir além das solicitações do usuário final e esperar os requisitos futuros.
Uma boa dica é começar com os fatores de negócios relevantes para a sua área de atuação e críticos para o seu departamento. Por exemplo, se você estiver projetando um modelo de data mart para seu departamento de vendas e marketing, os principais fatores podem ser cliente, local, produto, vendas e promoções. Além disso, considere se você está interessado em registros mensais, diários ou semanais.
Em seguida, gere uma lista de campos de dados críticos com base nas necessidades apresentadas pelos operadores do data mart. Por exemplo, alguns campos de interesse no data mart de marketing podem ser nomes de produtos, características da promoção, áreas e países.
Você também deve dividir os dados em métricas numéricas (chamadas de fatos) e registros descritivos (chamadas de dimensões).
Fonte: xenonstack
4. Limite as fontes de dados
Depois de listar todas as dimensões e fatos que comporão o modelo de data mart, a próxima etapa é identificar as fontes que alimentar o repositório. Essas fontes podem incluir bancos de dados, arquivos do Excel, arquivos delimitados etc.
Em seguida, prossiga para mapear dimensões para tabelas de consulta em seu sistema operacional, enquanto, e fatos podem ser mapeados para tabelas de transações.
Você também pode descobrir que alguns dos dados necessários não podem ser mapeados. Isso geralmente ocorre quando os campos no sistema de origem não são consistentes com os grupos de dados necessários no data mart.
Por exemplo, em uma empresa de telecomunicações, as chamadas telefônicas podem ser agrupadas por código de área, mas o data mart exige dados em termos de código postal. Agora é difícil mapear essas dimensões, pois um código de área é composto por muitos códigos postais e um código postal pode incluir vários códigos de área. Nessa situação, converter dados em um formato de sistema comum pode envolver um processamento dispendioso.
5. Projete o esquema estrela
Ao criar um esquema em estrela, é essencial descrever o relacionamento entre as tabelas de fatos e dimensões. Isso é feito usando chaves que incluem colunas únicas ou múltiplas, tornando a linha em uma tabela exclusiva. Uma chave primária que inclui várias colunas é conhecida como chave composta ou concatenada.
Para vincular os fatos e as dimensões, é bom usar surrogate keys em vez da chave primária da tabela de origem real. Ele permite que o gerenciador de data mart controle as chaves dentro do ambiente de data mart, mesmo se as chaves mudarem no sistema operacional.
Uma chave substituta é uma série de números inteiros criada pelo sistema que pode ser incluída na tabela de dimensões junto com a chave primária. Oferece mais benefícios em comparação com uma chave primária, porque a última é geralmente uma longa sequência de caracteres. Visto que uma chave primária inclui números inteiros, melhora o tempo de resposta da consulta.
Um último pensamento
Com o tempo, é provável que o volume de dados do seu data mart independente aumente. Portanto, é essencial considerar o fator de escalabilidade ao implementar fisicamente seu modelo lógico de data mart. Para atender aos requisitos de escalabilidade, considere minimizar as restrições de fatores como tamanho de hardware, capacidade de software e largura de banda do sistema.
Projetando uma arquitetura de data mart é um processo complexo que envolve várias etapas demoradas e, às vezes, custos substanciais. Seguindo as cinco melhores práticas mencionadas neste artigo, você pode reduzir as chances de erros e acelerar o processo de design.
