O Automatizado, Nenhum código Pilha de dados
Saiba como Astera O Data Stack pode simplificar e agilizar o gerenciamento de dados da sua empresa.
Líder de pensamento de dados Krish Krishnan sobre modelagem automatizada de dados
Recentemente, apresentamos nossa plataforma de automação de data warehouse (DWA) de última geração, Astera Construtor de DW, que oferece uma abordagem ágil e orientada por metadados para a construção de data warehouses. Nossa solução é voltada para organizações que desejam acelerar o ciclo de vida de seus projetos e simplificar o processo de design e desenvolvimento de data warehouse.
At Astera, estamos sempre focados na inovação e no aprimoramento de nossa tecnologia para oferecer a melhor experiência aos nossos usuários. Para obter insights mais profundos sobre a modelagem de dados para empresas modernas, entramos em contato com especialistas e líderes do setor para saber o que pensam sobre o assunto.
Tivemos uma oportunidade fantástica de conversar com Krish Krishnan - um líder visionário do pensamento em dados que está classificado entre os melhores consultores de data warehouse do mundo. Ele é autor de três eBooks e vários artigos, white papers, estudos de caso e outras publicações sobre dispositivos e arquiteturas de data warehouse.
Em nossa discussão, ele compartilhou seus pensamentos sobre o papel crítico da modelagem de dados na construção de arquiteturas de BI e o potencial transformador da modelagem de dados automatizada no mundo de hoje. Ele também esclareceu a importância de uma abordagem baseada em metadados. Vejamos algumas conclusões importantes da discussão:
Qual é a importância da modelagem de dados na implementação eficaz do data warehouse?
Um data warehouse é um repositório de todos os comportamentos transacionais que acontecem no sistema. Sem modelagem de dados, uma solução eficiente não pode ser construída a partir de uma perspectiva de consumo. [Então], é essencial criar um modelo antes de passar para o consumo de dados. Significa converter dados semiestruturados e não estruturados em formato estruturado. A recomendação é “Não modele quando o modelo chega, mas sim quando os dados são retirados.”
Os modelos de dados devem ser construídos em torno dos dados existentes ou projetados para refletir o processo de negócios subjacente?
Os dados são gerados para satisfazer os resultados do processo, portanto, o modelo de dados deve ser construído em torno dos requisitos do usuário final. Isso significa que você deve ter um modelo quando os dados saem do data warehouse. O modelo de consumidor de negócios deve ser colocado entre o desembarque de dados e uma série de transformações deve ser construída em torno do processo. Portanto, é uma combinação de ambos.
Mas o quão profundo e amplo você gostaria de ir é onde a automação entra. No mundo atual, orientado por dados, é necessário automatizar o processo. O desembarque de dados no warehouse deve estar mais perto do processo. Os dados que saem para servir uma analítica devem ser mais centrados nos dados. Nesse meio tempo, você pode trazer a automação para executar transformações e maximizar a eficiência.
É uma boa ideia construir um modelo de dados corporativo antecipadamente?
Uma solução preferida é um modelo centrado nos negócios que levaria dados lógicos brutos coletados. Conseqüentemente, os dados brutos estão [presentes em] uma única fonte central, mas podem servir a vários propósitos de estado final. Isso permitiria aos usuários girar e girar modelos conforme necessário.
É aí que a centralização dos dados entra na equação. Exige que cada pessoa em uma organização compreenda quem produz os dados, o que vem nos dados, quem os usará e como planejam usá-los.
"Duma centralidade significa que você não está alinhado com a tecnologianologia mas o processo que pode ser modelado e estudado usando a camada de tecnologia."
Deve uma abordagem mais iterativa para modelagem de dados ser a escolha preferida?
A abordagem convencional do 'Inmon' era construir um gigante e preenchê-lo. Uma abordagem mais iterativa é uma abordagem de modelagem dimensional 'Kimball' que oferece a capacidade de girar sob demanda e tem um conjunto de pontos de integração pelos quais você pode conectar cada spin-off. Portanto, não é essencial construir um esquema em estrela todas as vezes.
Anteriormente, o design do esquema era conduzido principalmente por um sistema de gerenciamento de banco de dados relacional. Isso porque o esquema precisa seguir o design. O sistema transacional exige essa disciplina. Mas é importante entender que um data warehouse não é transacional, mas armazena tudo o que aconteceu em vários sistemas transacionais.
An abordagem iterativa para modelagem de dados que se concentre na centralização dos negócios deve ser uma escolha preferencial.
O que são cofres de dados?
“Os cofres de dados foram introduzidos por volta de 2010 por Dan Linstedt e Hans Hallgren, mas eles foram notados e se tornaram populares nos últimos anos, à medida que mais empresas estão migrando para a nuvem. Gigantes da tecnologia como Amazon, Google e Microsoft e uma série de outros fornecedores que prestam serviços com eles estão trabalhando no armazenamento de dados devido aos benefícios que isso traz para a mesa.
É uma metodologia pela qual você pode levar dados críticos que são mestres para seus sistemas. Você pode colocá-los [dados] em um cofre e protegê-los. Em seguida, você pode acessá-lo de uma carteira em uma base nativa pela qual você pode trazer diferentes tipos de dados de várias áreas. ”
Qual é o potencial transformador da modelagem de dados automatizada?
Krish acredita que a modelagem de dados mais automatizada significa que você pode lidar com os dados com mais eficiência. Por exemplo, há uma mesa de cliente pronta no sistema. Você pode adicionar metadados, incluindo nome do cliente, endereços, cidade, estado, país, código postal, detalhes de contato, etc. Os campos definidos ajudam a acelerar todo o processo de documentação dessas informações.
"O que essa automação faz por você? Ele acelera a necessidade de tentar documentar cada requisitot. UMAtudo que é removido. Gum.Este é o nível que precisamos automatizar."
Isso é verdade. O processo de modelagem automatizada de dados facilita muito a criação de um meta-repositório que estabelece relacionamentos, minimiza discrepâncias e integra sistemas distintos. Ele também elimina inconsistências e imprecisões de dados, aumentando assim o valor da análise e dos relatórios.
Pensamentos de despedida?
"Precisamos começar a abraçar essa mudança, e mudança significa caos. O caos é a única constante no mundo em que vivemos.
Você pode ver isso literalmente no mundo em que vivemos hoje. Então, dê um passo para trás durante a semana. faça algumas leituras, ouça alguns podcasts sérios de vários fornecedores e entenda quais problemas estão sendo resolvidos.
[E] então, tente colocar sua mente e ver como você faz a mesma coisa com uma nova ferramenta em sua mão. esses são meus comentários de despedida para a discussão de hoje. ”
Se você quiser levar Astera DW Builder para um test drive, clique aqui. Ou, se você estiver interessado em discutir seu caso de uso de armazenamento de dados com nossa equipe técnica, entre em contato conosco neste link.
