Discutindo o passado, o presente e o futuro do armazenamento de dados com o especialista em BI Paul Kellett

À medida que avançamos para o lançamento de Astera Construtor de DW, estamos procurando dar aos leitores uma visão de como eles podem tornar suas arquiteturas de BI mais rápidas, mais ágeis e, finalmente, mais adequadas às demandas do ambiente de dados de alto volume e alta velocidade de hoje.

Quando se trata de construir e implementar soluções eficazes de armazenamento de dados, poucas pessoas podem se orgulhar do tipo de credenciais que Paulo Kellett traz para a mesa. Com 25 anos de experiência trabalhando em uma ampla gama de projetos para organizações em todos os níveis, Paul viu em primeira mão como os clientes responderam à necessidade cada vez maior de inteligência de negócios em sua empresa.

Paul Kellett (especialista em armazenamento de dados)

Nesta conversa ampla, aproveitamos a oportunidade para obter algumas das idéias francas de Paul sobre tópicos como - o estado atual do BI empresarial, como automação pode acelerar o desenvolvimento do data warehouse e para onde ele vê a indústria se dirigindo nos próximos anos.

Então, quais você diria que são os desenvolvimentos mais significativos que você viu em BI corporativo desde que começou neste espaço?

Então, comecei neste setor há mais de 25 anos com o que então era chamado de MIS (Management Information Systems), trabalhando predominantemente em projetos de banco de dados. Desde então, estive envolvido em vários projetos de BI, desde empresas a departamentais e PMEs.

Se eu fosse falar sobre as principais mudanças que vi ao longo desse tempo, diria uma consciência muito maior [da importância do BI], maiores volumes de dados, maior complexidade em torno dos dados e tecnologia de suporte aprimorada. Embora os custos subjacentes e a complexidade sejam decreasing, ainda há um caminho a percorrer. [Eu acho] o lado visual do BI também melhorou significativamente.

Quais são alguns dos casos de uso de armazenamento de dados mais comuns que você vê?

A variedade de casos de uso é surpreendentemente ampla, mas os mais típicos são Ambientes greenfield onde uma organização decidiu implementar BI ou cenários de substituição para soluções existentes. A substituição é normalmente impulsionada por uma solução existente pobre / falhada (que são surpreendentemente comum) ou substituição dos principais sistemas de dados de origem. Também há uma variedade de casos de uso em que os elementos de uma solução são substituídos completamente, por exemplo, substituição de ETL codificado manualmente por uma ferramenta de ETL. Este último tende a ser mais incremental.

Você acha que toda organização poderia se beneficiar com um data warehouse?

Um verdadeiro data warehouse não é para todos, mas ainda não vi uma organização que não pudesse melhorar o uso de dados e informações.

Um EDW pode ser um investimento significativo. Portanto, [a implementação bem-sucedida de] BI normalmente requer mudanças culturais em como o negócio usa os dados. Um dos caminhos comuns para o “verdadeiro BI” passa por data marts, soluções departamentais e relatórios aprimorados, com cada implementação subsequente melhorando o uso de dados pela organização. Em muitos casos, um EDW fica no final dessa estrada.

Ironicamente, empresas maiores frequentemente acabam com mausoléus de dados que fornecem dados de gargaloy. [Essas arquiteturas] são frequentemente roubadas por unidades de negócios específicas e, portanto, oferecem suporte insuficiente ao negócio mais amplo, ao contrário de uma verdadeira solução corporativa [como um data warehouse]. A solução está em construir mais data marts para dar suporte a diferentes elementos de negócios. Esses dados devem então ser integrados ao data warehouse principal.

Existem fatores específicos que você procuraria ao recomendar um EDW a um cliente?

Procuro uma empresa com apetite para melhorar a sua percepção de dados, pois tudo deve resultar disso. Eu recomendo uma abordagem em estágios sempre que possível. O jogo final pode muito bem ser um data warehouse, mas é importante que os benefícios para os negócios sejam entregues progressivamente.

Quais são alguns dos principais desafios que você vê surgirem durante o processo de desenvolvimento do data warehouse?

Provavelmente acessando e entendendo os dados ... essa parte é sempre divertida. Fazer com que as empresas se comprometam com a abordagem também pode ser uma tarefa árdua. Outra limitação que encontro é a falta de acesso a profissionais de BI que realmente entendam a tecnologia e possam falar com a empresa.

Qual você diria que é a etapa mais importante para acertar durante o desenvolvimento do data warehouse? Extraindo dados de origem? Dados de modelagem? Criando processos ETL?

A parte mais importante é o resultado. Os dados precisam estar em um formato que suporte BI. Primeiramente, isso significa que os dados não perdem nenhuma informação e que estão disponíveis de maneira relevante para o negócio.

Existem muitas maneiras de chegar a este ponto, mas o destino é o mais importante. Dito isso, o destino em BI geralmente não é claro desde o início, portanto, a capacidade de adaptar rapidamente o resultado final com base em aprendizados e feedback de negócios é fundamental. Isso implica um mecanismo de entrega de dados rápido e eficaz, bem como uma ferramenta de apresentação capaz [no frontend].

O que você acha sobre arquiteturas como o data lake ou o cofre de dados? São alternativas para o data warehouse, soluções complementares ou apenas muito exagero?

Geralmente, eles são complementares e não essenciais. Os data lakes são normalmente muito mais baratos e mais simples de implementar dos dois. O conceito de data lakes está relativamente bem estabelecido e, na verdade, acaba de sofrer uma mudança de marca nos últimos tempos. Pode ter sido chamado de Operational Data Store (ODS) há mais de 20 anos. Freqüentemente, crio um data lake invisível como parte de uma solução de data warehouse. Invisível porque não publico sua existência como um data lake, pois há benefícios de flexibilidade e auditabilidade. Um data lake também pode ser um estágio intermediário barato para uma solução de BI mais abrangente, por exemplo permite relatórios aprimorados.

Um cofre de dados é muito mais um componente dirigido por TI. Mais formal e estruturado, e o IMO é menos frequentemente justificável por causa dos custos adicionais e prazos que acrescenta a uma solução. Se houver uma necessidade de compartilhar amplamente dados comuns entre muitos aplicativos além do DW, isso se torna justificável.

Em sua opinião, que papel as ferramentas de automação de data warehouse têm na aceleração e agilização do desenvolvimento de data warehouse?

Imenso. Imenso. Enorme. Devo continuar? Com muita frequência, um data warehouse é um projeto monolítico do tipo cascata em que nós, nerds da tecnologia, ficamos trancados em uma sala por um longo período e solicitados a emergir com uma solução de melhor suposição do que achamos que o negócio precisa. Sim, eu exagero, mas o processo precisa ser rápido e incremental, com ciclos curtos de revisão / revisão frequentes que se envolvem com o negócio. Em outras palavras, o data warehouse precisa se tornar realmente ágil.

Com a experiência anterior, sabemos que dividir um DW em muitos pedaços pequenos reduz o risco, melhora a qualidade da entrega e melhora o envolvimento com o negócio. Isso é muito mais simples de fazer com ferramentas de automação adequadas.

Outra maneira de ver isso é em termos de ROI. No DW típico, o lado da preparação de dados constitui a maior parte dos custos. Reduzir essas despesas com a automação orientada a dados adequada tem muitos benefícios, desde a entrega mais rápida de melhor qualidade dados para reduzir a barreira de entrada. 

A qualidade aprimorada é obviamente um benefício crucial da automação, pois a quantidade que é feita sob medida, mais complexa e sujeita a problemas é reduzida drasticamente com uma ferramenta apropriada.

Quais recursos / funcionalidades você acha que são essenciais para uma ferramenta de automação de data warehouse eficaz?

As tarefas repetíveis, por exemplo, tratamento de erros, auditoria, criação de DCS, etc. precisam ser muito simples e robustos. Existem muitas tarefas repetitivas em uma compilação de DW. A integração com os sistemas de origem e o modelo de destino precisa ser forte. Para manutenção e entrega ágil, a capacidade de fazer análises de dependência para entender o processamento é muito importante.

Você acha que os data warehouses em nuvem substituirão os EDWs locais? Ou você vê o modelo híbrido de data warehouse sendo mais prevalente?

Não tenho certeza. Vejo uma mudança geral para DWs externos, pois eles fornecem maior flexibilidade, mas isso [implantação na nuvem] tem seus desafios. Provavelmente, todos os três serão comuns com uma proporção maior de DWs na nuvem do que no local.

Por fim, para onde você vê a evolução da indústria nos próximos cinco anos ou mais?

Os elementos 'sexy' de BI, como análises dirigidas por IA e visualizações mais poderosas, estão recebendo a maior parte do foco. Esses elementos provavelmente continuarão a dominar o espaço. No entanto, vejo uma revolução silenciosa no lado da entrega de dados. Com a disponibilidade de dados ganhando cada vez mais importância à medida que as organizações percebem, geralmente é o maior custo.

Dê uma olhada em primeira mão no futuro do armazenamento de dados

Chegou a hora de modernizar o BI da sua empresa. Com Astera Com o DW Builder, você pode aproveitar uma plataforma ponta a ponta completa que promete tornar o design, o desenvolvimento e a implantação de seu EDW extremamente rápidos. Descubra como podemos oferecer suporte ao seu caso de uso, entre em contato com nossos especialistas técnicos hoje mesmo.