Astera apresenta a mais nova adição à plataforma, Astera Data Services - uma solução completa de gerenciamento do ciclo de vida da API. Saiba Mais

X

Abordagem orientada por metadados encontra automação de data warehouse – uma combinação perfeita

By |2022-03-10T08:11:35+00:00Março 9th, 2021|

Na série parte anterior, esclarecemos por que a tecnologia de automação de data warehouse deve ser parte integrante de sua estratégia de data warehouse. Aqui, falaremos sobre metadados e por que uma abordagem orientada a metadados e o DWA são como a manteiga de amendoim e a geleia para o desenvolvimento ágil de data warehouse. Neste blog, discutiremos a definição de metadados, exemplos de metadados e as três categorias de metadados. Além disso, explica o que são metadados em um data warehouse e sua importância.

O que são metadados?

Metadados são definidos como os dados que atuam como um diretório para outros dados. Ele ajuda os usuários a entender os dados em um nível mais alto. Um exemplo da vida cotidiana para entender o conceito de metadados é o índice de um livro. Um índice é um metadados que inclui todas as informações sobre o conteúdo de um livro.

O que são metadados em data warehouse?

Em um data warehouse, os metadados podem ser muitas coisas, como tipos de dados, formatos de dados, tabelas de banco de dados de origem e destino, relacionamentos de entidades, padrões SCD e mapeamentos e transformações ETL e muito mais.

Como tal, um arquitetura orientada por metadados permite que você traga o esquema de banco de dados de origem para um modelo de dados, personalize sua estrutura com base em seus requisitos de negócios e disponibilize o modelo de dados para processos subsequentes, como análise de dados.

Quando a abordagem baseada em metadados é combinada com o DWA, eles se tornam os parceiros perfeitos que agilizam o design, o desenvolvimento e a implantação, levando a uma implementação robusta do data warehouse. Essa combinação fornece às equipes de TI tudo de que precisam para formular processos ágeis e sustentáveis ​​que ajudem a entregar resultados de alta qualidade de forma consistente.

Metadados respondem a 5 Ws (e um H) de seus dados de negócios que são essencialmente armazenados em seu data warehouse.

Pense em metadados como átomos. Assim como os átomos são as unidades fundamentais da matéria e definem a estrutura e as propriedades dos elementos químicos, os metadados servem como blocos de construção de seu data warehouse. Ele fornece o contexto, as características e a linhagem de seus dados de negócios em um nível atômico, permitindo que você veja suas informações atuais e históricas.

Três tipos principais de metadados em data warehouse

Existem três tipos principais de metadados no data warehouse:

  1. Metadados operacionais: Os metadados operacionais fornecem informações sobre o histórico e o status dos dados. Exemplos de metadados operacionais incluem arquivamento de dados e regras de retenção, logs de erros e regras de compartilhamento de dados.
  2. Metadados técnicos: Os metadados técnicos fornecem conhecimento sobre o formato e a estrutura dos dados. Exemplos de metadados técnicos seriam nomes de coluna, nomes de sistema de banco de dados e modelos de dados.
  3. Metadados de negócios: Os metadados de negócios se concentram na governança de dados e ajudam os usuários de negócios não técnicos a entender um data warehouse em uma linguagem cotidiana mais simples.
abordagem orientada por metadados em data warehouse

Categorias de metadados em data warehouse

Por que os metadados no data warehouse são importantes?

O papel dos metadados no datawarehouse é crucial. Vamos explorar o que as partes interessadas de negócios e as equipes de TI obtêm com o casamento dessas duas tecnologias:

Potencializa a cultura de desenvolvimento iterativo

Com um projeto tão grande quanto um data warehouse, é sempre recomendável trabalhar em ciclos menores e mais gerenciáveis, em vez de uma abordagem big bang. Caso contrário, você perderá facilmente de vista o propósito real de seu data warehouse: fornecer insights confiáveis ​​para ajudar os usuários a responder a perguntas de negócios e capacitar a tomada de decisões baseada em dados.

Assim, a aplicação de um modelo iterativo só é possível quando sua equipe de data warehouse está equipada com o equipamento certo para fornecer atualizações para seu data warehouse em construção ou existente de maneira ágil.

Abordagem de metadados em ferramentas de automação de data warehouse, como Astera O DW Builder permite que sua equipe crie protótipos rapidamente em torno de sua lógica de negócios proposta, garantindo a confiabilidade e a precisão de seus processos de armazenamento de dados. Depois de criar, testar e implementar com sucesso o protótipo de um de seus fluxos de relatório, você pode criar um processo repetível para outros projetos analíticos. Isto é porque Astera O DW Builder automatiza fortemente as tarefas repetitivas e permite que você reaproveite os modelos e fluxos existentes para um desenvolvimento mais rápido.

Prevê o futuro de sua implantação de data warehouse

Implantação de Data Warehouse por meio de abordagem orientada a metadados

Implantação de data warehouse (créditos: MotionPoint)

Os data warehouses devem ser projetados como sistemas em constante expansão, que podem facilmente receber e aceitar as mudanças à medida que ocorrem. Os usuários de negócios estão continuamente descobrindo novos requisitos que precisam ser refletidos nos painéis de relatórios para basear suas análises e previsões nos dados e condições mais recentes.

Com uma arquitetura orientada por metadados, as equipes de TI não precisam se preocupar em acompanhar as dependências upstream e downstream. Os desenvolvedores podem ter certeza de que atualizar a infraestrutura existente com os novos requisitos não resultará em um efeito cascata que pode interromper a integridade e a usabilidade da implementação do data warehouse.

Astera O DW Builder captura alterações no nível de metadados, evitando que você as codifique manualmente separadamente em várias áreas, como modelos dimensionais, fluxos ETL e tabelas de preparo. Como possui desenvolvimento lógico, tudo o que você precisa fazer é atualizar seus modelos de dados e reimplantá-los para refletir as alterações em vários ambientes de desenvolvimento e, consequentemente, em seu data warehouse alimentando seus projetos de análise.

Dá confiança para mudar para a nuvem

Abordagem orientada por metadados no Data Warehouse Cloud

Agora vamos olhar para os metadados e automação de data warehouse casamento da perspectiva da nuvem.

As empresas estão se afastando da infraestrutura local, pelo menos a maior parte de seu ecossistema de dados, se não todos, para a nuvem. Isso se deve principalmente ao mundo de opções que os provedores de nuvem oferecem para armazenar e gerenciar dados. Existem opções de escalabilidade de um clique, poder de computação ilimitado, zero requisitos de hardware para armazenar petabytes, acesso rápido e fácil às informações para usuários de negócios, desempenho de consulta aprimorado e a lista continua.

Como os metadados contêm todas as informações contextuais sobre o ecossistema de dados corporativos, eles são basicamente independentes da plataforma em que são usados ​​para construir o data warehouse. Isso significa que você pode facilmente mudar e mudar seu data warehouse para uma arquitetura DW mais adequada para atender às suas necessidades de negócios em constante mudança.

O papel do ETL orientado por metadados nas ferramentas de automação de data warehouse é que eles pegam o código subjacente e o transformam automaticamente para funcionar na plataforma de nuvem de destino, evitando que seus desenvolvedores voltem à prancheta para reescrever o código. Com isso, você pode selecionar Snowflake, Azure, Oracle, Redshift ou qualquer outro provedor de nuvem para criar ou migrar seu data warehouse de qualquer fonte de dados.

Como funciona Astera O DW Builder capacita o armazenamento de dados orientado por metadados?

Astera Construtor de DW simplifica e automatiza o desenvolvimento de data warehouse de ponta a ponta, usando a abordagem ágil baseada em metadados. O produto busca metadados diretamente dos bancos de dados de origem e permite que você os utilize nas fases de design, desenvolvimento e implantação de seu data warehouse. Depois de implementado, é fácil introduzir mudanças no design, pois os metadados capturados permitem que você propague as mudanças em toda a linha, garantindo a integridade dos modelos existentes, fluxos de integração e implantações.

Quer ver o poder da abordagem orientada por metadados e como essas duas tecnologias funcionam juntas? Solicite uma demonstração ao vivo do produto hoje para seu caso de uso ou fale com nossos especialistas para ver o valor Astera O DW Builder pode trazer para suas iniciativas de armazenamento de dados.

Artigos Relacionados

5 razões pelas quais você deve construir seu data warehouse em ...

O mundo do BI corporativo tem visto um rápido crescimento nas taxas de adoção da nuvem nos últimos anos. O armazenamento de dados na nuvem...
leia mais

Automação de Data Warehouse (DWA): Por que faz sentido para seu ...

Os dados foram nomeados a moeda do futuro que supera o valor de petróleo e ouro...
leia mais

Arquitetura de Data Warehouse: Tipos, Componentes e Conceitos

Nas últimas décadas, a arquitetura de data warehouse tem sido o pilar dos ecossistemas de dados corporativos. E apesar de inúmeras...
leia mais