As tecnologias de armazenamento de dados continuar a crescer na demanda, creating eficaz modelos de dados tornou-se cada vez mais importante. Em particular, otimizando processamento transacional on-line (OLTP) dados, modelos— que definem o estrutural relacionamentos entre normalizado tabelas e entidades—for tr eficienteprocessamento anaccional is crucial.
No entanto, criar um modelo de dados OLTP apresenta vários desafios. Em primeiro lugar, os sistemas OLTP carregam grandes volumes de dados transacionais todos os dias. Isso significa centenas de tabelas que requerem atualizações regulares. Consultar os dados e criar junções entre várias tabelas pode ser uma tarefa árdua e demorada.
Em segundo lugar, os sistemas OLTP mantêm dados confidenciais, o que leva a questões de privacidade e segurança dos dados. Por fim, dada a grande quantidade de dados que flui todos os dias, os modelos OLTP devem ser dimensionados com frequência — imagine o esforço necessário para filtrar tabelas e escrever centenas de linhas para atualizar o modelo manualmente.
Você quer aprender a criar um modelo de dados seguro e escalável em apenas algumas etapas simples? Bem, há uma maneira difícil de projetar e manter modelos de dados e depois há o Asterado caminho. Sugerimos o último! Astera modelagem de dados- em oposição ao convencional métodos-permite criar modelos OLTP de forma eficiente e rápida.
Além disso, você pode aprender mais sobre como projetar modelos dimensionais desnormalizados aqui.
Modelagem de dados em uma plataforma simplificada, o Astera Beneficiar
Astera O DW Builder tem um designer de modelo de dados dedicado capaz de projetar modelos com base em qualquer tipo de banco de dados local ou na nuvem, por exemplo, Redshift, Azure, Snowflake etc. Isso resolve muitos dos desafios comuns de projetar um modelo de dados OLTP.
Por exemplo, as organizações geralmente enfrentam o desafio de sincronizar bancos de dados diferentes para criar um modelo ou armazém padronizado. Isso porque cada banco de dados tem seu próprio conjunto de requisitos e metodologias de programação.
Astera O DW Builder fornece uma maneira uniforme de projetar data warehouses compatíveis com todos os bancos de dados. Isso agiliza o processo de criação ou implantação de modelos, tornando-o infinitamente mais fácil em comparação com uma abordagem manual tradicional.
Além disso, AsteraA abordagem centrada no modelo de dados para armazenamento de dados aprimora a segurança do banco de dados por meio de modelos separados e controles de acesso. Por exemplo, se você tiver um banco de dados com informações críticas que não podem ser totalmente compartilhadas com outras pessoas, você pode usar o modelo OLTP como uma exibição separada do banco de dados que inclui apenas tabelas compartilháveis.
O acesso ao modelo pode então ser restrito a indivíduos autorizados. Atuando como uma camada de abstração, o modelo pode ser modificado para armazenamento de dados sem afetar o próprio banco de dados.
Além disso, AsteraOs modelos de dados da são projetados e implantados em um ambiente automatizado e sem código. Esses modelos criam junções automáticas entre tabelas relevantes, eliminando a necessidade de escrever código. O ambiente automatizado de código zero, juntamente com uma representação visual de entidades, torna significativamente mais fácil para você atualizar ou dimensionar o modelo.
Visualização do modelo de dados OLTP
Projeto, implantação e consumo de um OLTP Modelo de dados
- Identificar e Modelando os Dados
O ESB ( primeiro passo é selecionar banco de dados de interesse de 'Change Dabater CLigação Ibotão nfo' na ferramenta Barra.
Para este caso de uso, selecionamos o banco de dados fictício Northwind do servidor SQL.
Em seguida, fazemos engenharia reversa do banco de dados e escolhemos as tabelas com as quais queremos modelar Astera Construtor DW. Mas o que é engenharia reversa?
Aqui, a engenharia reversa refere-se ao processo de criação de um modelo de dados a partir de um banco de dados já existente. A ferramenta permite que os usuários façam engenharia reversa de um banco de dados existente e revelem as tabelas selecionadas e seus relacionamentos – com restrições importantes – em um nível lógico.
Engenharia reversa de um banco de dados.
Aqui está nosso exemplo de modelo de dados de engenharia reversa.
Fizemos a engenharia reversa das seguintes tabelas para nosso modelo de dados:
- Orders
- Produtos
- Detalhes do pedido
- Clientes
- Colaboradores.
Modelo de Engenharia Reversa
As linhas retas entre as diferentes tabelas revelam a relaçãos entre essas entidades . Além disso, o construtor de layout para cada tabela mostra informações editáveis para todos os campos da tabela.
Construtor de Layout para Pedidos
Etapa 2: verificação do modelo de dados
Implantaremos nosso modelo de origem para consumo em pipelines ETL. No entanto, antes da implantação, devemos verificar se há erros ou avisos relacionados à implantação.
Para isso, selecionamos Verifique a implantação de leitura e gravação, a opção padrão para o Iniciar verificação botão.
Ao selecionarmos esta opção, o verificar A janela indicará se o modelo está pronto para implantação ou se contém erros que devem ser resolvidos antes da implantação.
Verificação do modelo de dados
Por exemplo, aqui está um erro que encontramos ao verificar nosso modelo.
Esse erro de verificação mostra que o campo OrderID do modelo é inconsistente com o OrderID do banco de dados, pois não está marcado como uma chave gerada pelo sistema. Simplesmente marcamos corretamente no construtor de layout e avançamos para a implantação após eliminar os erros.
Passo 3: Implantação do OLTP Modelo
Finalmente, implantamos o modelo de dados em nosso servidor usando o botão 'Implantar modelo de dados' na barra de ferramentas.
Implantação do modelo de dados
This implantado modelo existe em nosso servidor como an Astera Modelo de dados (ADM) e pode ser facilmente consumido em pipelines ETL.
Consumindo o ADM (Astera Modelo de dados) desenvolvimento
- A implantação do ADM é uma visão lógica da fonte real que atua como uma camada de abstração para maior segurança.
- O ADM usa os metadados para criar automaticamente uniões filho-pai hierárquicas por meio do Consulta do modelo de dados objeto. Podemos extrair dados automaticamente de várias tabelas na fonte sem escrever scripts para criar junções individuais.
Consulta do modelo de dados
O modelo OLTP e suas junções são úteis para preencher data warehouses de destino e utilizando modelos em inteligência de negócios. Além disso, o modelo implantado pode ser acessado por meio de ferramentas de visualização externas, como Power BI e Tableau por meio do Módulo OData integrado.
Um relatório do PowerBI baseado em um Astera Implantação do modelo de dados
Modelagem de dados, Astera Maneira!
Como visto acima, AsteraOs modelos de dados da empresa melhoram a segurança do banco de dados, a escalabilidade do modelo e o eventual consumo do modelo de dados em pipelines ETL ou ferramentas de BI. E a abordagem declarada para projetar e implantar modelos OLTP é a mais fácil possível!
Confira esta guia aprender sobre como projetar modelos dimensionais automatizados com Astera Construtor DW.
Nossa ferramenta de automação de data warehouse de código zero agiliza the todo o processo de criação, verificação e implantação de um modelo de dados seguro. Usando Astera Construtor DW; você pode reduzir o ciclo de vida de design e desenvolvimento do data warehouse em até 80%.
autores:
- Haris Azeem