Você realmente precisa de um cofre de dados?

A metodologia de modelagem Data Vault 2.0 ganhou imensa popularidade desde seu lançamento em 2013. É um modelo híbrido que combina os benefícios da Terceira Forma Normal (3NF) e arquiteturas de esquema em estrela, tornando-se uma solução dos sonhos para engenheiros de armazenamento de dados.

Mas vale a pena implementar para sua arquitetura de data warehouse? A resposta não é simples, pois há muitos fatores a serem considerados. Então, vamos nos aprofundar e explorar se o Data Vault 2.0 é adequado para você.

Quando você deve implementar um cofre de dados?

A arquitetura do cofre de dados pretende ser complementar à cronograma rígido metodologia de modelando seu data warehouse. Ele atua como uma camada adicional entre as camadas de preparação e de relatório.

3NF e esquema em estrela são ótimas arquiteturas independentes, mas ambas têm seus prós e contras. Um modelo 3NF fornece redundância de dados reduzida e requer menos espaço de armazenamento, mas pode ser difícil de consultar devido ao grande número de tabelas. Um esquema em estrela é otimizado para desempenho de consulta mais rápido e manutenção de histórico, mas pode ser complexo e demorado.

É aí que o cofre de dados entra em ação.

A maior vantagem de ter um cofre de dados é a sua adaptabilidade à mudança. Se sua arquitetura de origem for propensa a alterações, como adição ou exclusão de colunas, novas tabelas ou relacionamentos novos/alterados, você definitivamente deve implementar um cofre de dados.

Um modelo 3NF possui altas dependências de entidades, visto que as entidades são correlacionadas. Sempre que algo novo for adicionado ou uma alteração for feita no modelo, você deve alterar os links de relacionamento existentes, o que pode causar problemas de integridade referencial. Por outro lado, um modelo de cofre de dados contém tabelas de links independentes, significando os links entre as tabelas. Você pode facilmente incorporar alterações, como adicionar novas fontes à arquitetura ou alterar o esquema existente, adicionando novas tabelas de links ao modelo.

Um benefício adicional dessas tabelas de links é sua capacidade de atender a relacionamentos muitos-para-muitos. Em um modelo 3NF, você teria que criar uma tabela de ponte para manter esse tipo de relacionamento, mas as tabelas de link têm a capacidade inerente de fazer isso. Nenhuma alteração de esquema seria necessária, mesmo quando você alterasse um relacionamento de um para muitos para muitos para muitos.

Além disso, os cofres de dados fornecem auditabilidade usando tabelas de satélite para manter registros históricos de alterações feitas nos dados de origem. Em termos de modelagem dimensional, o SCD tipo 2 é aplicado essencialmente a cada campo, garantindo que o histórico seja mantido. Dessa forma, você pode acompanhar todos os tipos de alterações que ocorrem nos dados. Além disso, a tabela de satélite também contém tempo recorde e campos de origem, facilitando a auditoria abrangente.

Uma arquitetura de cofre de dados permite carregamento paralelo, pois nenhuma pesquisa é necessária - ao contrário de um modelo dimensional que requer uma pesquisa de dimensão para obter a chave substituta ativa para um fato. Além disso, não há restrições de chave estrangeira; As chaves de hash podem ser facilmente calculadas usando as chaves de negócios na camada de preparação, anulando a necessidade de uma pesquisa e tornando possível preencher e manter várias tabelas em paralelo. Melhores marcas de eficiência!

Até agora, falamos apenas do cofre bruto – e é evidente que sua implementação traz enormes vantagens. Por outro lado, o cofre de negócios fornece um conjunto separado de entidades, como tabelas pontuais e de ponte, que podem ser usadas como uma margem de manobra para a camada de relatórios (esquema em estrela) ou acessadas diretamente para geração de relatórios.

A combinação do cofre bruto e do cofre comercial pode servir como instrumentos poderosos no kit de ferramentas de um arquiteto de data warehouse. Mas eles são uma parte essencial do ciclo de vida de desenvolvimento do data warehouse? Milímetros, não exatamente!

Quando é exagero?

Vamos pegar um cenário onde você tem um sistema de origem ERP que contém dez anos de dados que você deseja carregar em um data warehouse e usar para geração de relatórios. Nenhuma mudança é esperada na arquitetura ou nos próprios dados; seu único objetivo é obter insights das informações em mãos.

Em tal situação, a adaptabilidade não é um requisito, pois nenhuma mudança é esperada na arquitetura – não há necessidade de adicionar novos relacionamentos, campos ou tabelas. Além disso, você não precisaria auditar dados que não esperassem nenhuma atualização da(s) fonte(s).

Projetar um cofre bruto pode ser uma tarefa tediosa e demorada. Se seu único objetivo é gerar relatórios a partir de seus dados, por que se dar ao trabalho? Você poderia ir direto do banco de dados de preparação para um esquema em estrela, indiscutivelmente a melhor opção de relatório.

Conclusão

Agora que discutimos todos os fatores a serem considerados, aqui está uma conclusão:

A implementação de um cofre de dados é opcional e depende inteiramente do seu cenário e requisitos de dados. Se você está procurando uma arquitetura adaptável e auditável, faz sentido projetar um cofre bruto sobre sua camada de preparação. Em seguida, você pode criar um cofre de negócios para permitir relatórios significativos diretamente do cofre ou por meio de uma camada de relatório complementar, como um esquema em estrela.

No entanto, se você tiver fontes de dados estáticos e seu requisito principal for obter insights de seus dados, projetar um cofre de dados seria uma perda de tempo. Resumindo, se a adaptabilidade e a auditabilidade não forem necessárias, não adianta ter um cofre de dados entre as camadas de teste e relatórios.

Se você se enquadra na categoria de engenheiros de dados que precisam de um cofre de dados como parte de seu ecossistema, lembre-se de que a criação de hubs, links, satélites, pontes e tabelas pontuais - para citar alguns dos muitos componentes do cofres brutos e de negócios - podem se tornar altamente técnicos e exigiriam conhecimento de programação hardcore. Mas não tema; há uma saída fácil!

Astera O DW Builder fornece um designer de modelo de dados com uma interface visual, incluindo recursos de arrastar e soltar e clicar e apontar, para você projetar um cofre de dados com o mínimo de esforço. Além disso, a capacidade de automação da ferramenta permitirá derivar um esquema de cofre de dados de um modelo de dados de origem com apenas alguns cliques. Simplificando, não fica mais fácil do que isso.

Descubra a melhor forma de implementar um cofre de dados. Alcance-nos em [email protegido] hoje!