Tudo o que você precisa saber sobre o custo de construção de um data warehouse

Suponha que sua organização tenha atingido um ponto em que a melhor abordagem para analisar seus dados e tomar decisões informadas seja por meio de um data warehouse. Muitas organizações projetam e constroem um data warehouse para inteligência de negócios e gerenciamento de dados para obter uma vantagem competitiva no mercado.

Com todos os seus dados de negócios agregados em um repositório centralizado servindo como a única fonte de verdade, os relatórios se tornam muito mais poderosos, levando a decisões melhores e mais lucrativas para sua organização.

Ao lançar um armazenamento de dados iniciativa dentro de sua organização, você deve abordar várias questões. Quais ferramentas você deve usar? Você deveria construir ou comprar uma solução de armazenamento de dados? Ou você deve optar pela terceirização de data warehouse? Qual seria o apropriado arquitetura de armazém de dados para as necessidades da sua organização?

Dentre elas, uma das questões mais importantes é: Quanto custará a construção de um data warehouse para sua organização? Calcular o custo médio para construir um armazém pode ser um desafio, especialmente quando muitos fatores e partes móveis estão envolvidos no ciclo de vida do DW.

Nesta postagem do blog, detalhamos o custo real de construção de um data warehouse e como você pode determinar o ROI de sua iniciativa de armazenamento.

Como estimar o custo de construção de um data warehouse

Assim como qualquer outro projeto, existem tipos de custos associados à construção de um data warehouse: despesas variáveis ​​e fixas. Antes de iniciar seu projeto, você precisa ter uma boa noção de quais serão seus gastos fixos e variáveis. Se você optar por um data warehouse local tradicional, haverá uma grande parte dos custos fixos, incluindo o investimento inicial em servidores e dispositivos de armazenamento. Também incluirá o custo único de configuração desta infraestrutura, incluindo configuração de rede, configuração do data center (se aplicável), etc.

No entanto, se você optar por um data warehouse em nuvem como Snowflake, Amazon Redshift ou Google BigQuery, a maior parte do seu custo será variável. Normalmente incluiria custos de computação em nuvem baseados na quantidade de armazenamento usado, recursos de computação consumidos e transferência de dados, além dos custos de armazenamento de dados e custos de transferência de dados se você estiver movendo dados entre sistemas diferentes ou entre redes.

Depois, há os custos típicos envolvidos, como custos comerciais e de inteligência e custos trabalhistas. Seus custos de mão de obra seriam maiores se você optasse por uma solução local e pelo tipo de software ETL que você usa. As plataformas em nuvem são mais fáceis de configurar e se você optar por uma ferramenta ETL sem código, como Astera Construtor de data warehouse, seus custos cairão significativamente.

Componentes de custo na construção de um data warehouse

Primeiro, vamos discutir os principais componentes que afetam o custo de um data warehouse. Como cada projeto de data warehouse é diferente, o custo de cada componente varia.

Aqui está uma análise dos componentes de custo de um data warehouse:

1. Construa seu data warehouse na nuvem ou no local

A primeira decisão é hospedar seu data warehouse no local ou no Nuvem. O armazenamento local requer a compra e manutenção de todo o hardware e software por conta própria. Com uma solução baseada em nuvem, você tem o provedor de serviços em nuvem para lidar com tudo.

Com uma solução no local, os benefícios são:

1) maior segurança.

2) controle aprimorado sobre como e onde seus dados são armazenados.

3) acessar e recuperar suas informações sem depender de internet de alta velocidade e conectividade.

No entanto, por outro lado, várias despesas gerais envolvem alto investimento inicial, maior custo de manutenção, maior risco de perda de dados e escalabilidade limitada.

A nuvem, por outro lado, é a escolha de armazenamento ideal para a maioria das empresas. UMA Relatório 2021 Flexera sugere que 87% das empresas com um data warehouse estão experimentando, usando atualmente ou planejando usar a nuvem para seus projetos de data warehouse.

Isso ocorre porque os data warehouses baseados em nuvem são mais simples de configurar, mais fáceis de manter e não requerem nenhum espaço de armazenamento no local. Você paga apenas pelo que usa e tem o luxo de aumentar ou diminuir o armazenamento e os recursos computacionais. Uma calculadora de custo de construção de armazém facilita a avaliação de suas opções.

2. ETL: Gravando Código Manualmente vs. Ferramenta ETL

Extrair, transformar, carregar (ETL) envolve a movimentação de dados do(s) local(is) de origem para o data warehouse de destino. Isso inclui a integração, migração, transformação e sincronização de dados para seu warehouse a partir de várias fontes de dados.

ETL é um componente central de qualquer implementação DW, e o custo depende de você escrever seu próprio código ou optar por uma ferramenta ETL.

Escrever SQL customizado para seus processos ETL permite adaptar a movimentação de dados para o warehouse de acordo com suas necessidades de negócios. Mas vem com grandes considerações de tempo e orçamento.

Você precisará de uma equipe dedicada de desenvolvedores ETL para codificar manualmente os fluxos ETL. Eles também devem se coordenar com os modeladores de dados e especialistas em DW para construir pipelines ETL. Isso pode levar meses ou anos.

Em oposição a isso, escolher um ferramenta de automação de data warehouse com funcionalidade ETL integrada, como Astera DW Builder, permite que você crie pipelines ETL rapidamente em um nível lógico.

Além disso, você pode desenvolver pipelines ETL por uma fração do custo. Essas ferramentas são versáteis e robustas. Eles suportam várias fontes de dados e modelos de warehouse, fornecem muitas opções de transformação e oferecem recursos de orquestração de processos para carregar e sincronizar dados de entrada para warehouses.

3. Business Intelligence e Relatórios

A maioria das iniciativas de armazenamento de dados visa melhorar a tomada de decisões por meio de inteligência de negócios (BI) e análise de dados. É por isso que os data warehouses geralmente são combinados com ferramentas de inteligência de negócios para visualizar dados, descobrir insights e criar relatórios para análises. No entanto, essas ferramentas de BI e visualização também têm um preço.

As empresas devem escolher uma solução corporativa de BI e usar uma biblioteca de código aberto como D3.js ou Kibana para visualizações.

Embora as ferramentas de código aberto ofereçam mais liberdade, há um alto custo de recursos humanos associados a elas. Isso porque você precisa de desenvolvedores e analistas de dados para criar visualizações. Por outro lado, a maioria das ferramentas corporativas de BI, como Quadro e Microsoft Power BI, são intuitivos e simples de usar. Portanto, há pouca sobrecarga além do custo da própria ferramenta.

4. Recursos humanos

Seja usando um ferramenta de automação de data warehouse (DWA) ou um método de codificação personalizado, você precisará de uma equipe de desenvolvimento qualificada. Uma equipe típica de desenvolvimento de data warehouse envolve desenvolvedores de ETL, engenheiros de dados, analistas de dados, arquitetos de dados, gerentes de tecnologia da informação e administradores de banco de dados.

Cada recurso desempenha um papel diferente no projeto. O tipo e o número de pessoas de que você precisa variam de acordo com a abordagem escolhida. Por exemplo, ao optar por uma ferramenta DWA pronta para uso, você precisará de menos recursos em sua equipe de desenvolvimento.

Ainda assim, suponha que você esteja optando por uma solução com código personalizado. Nesse caso, você precisará de uma grande equipe composta por vários desenvolvedores de ETL, engenheiros de dados, modeladores de dados e DBAs para trabalhar no projeto.

5. Outros custos: manutenção, treinamento e suporte

O último, mas frequentemente esquecido, componente de custo de um data warehouse está relacionado à manutenção, treinamento, suporte (técnico e não técnico) e atualizações. Na maioria dos casos, você tem três opções para gerenciar esses outros custos:

• Contrate uma equipe interna que possa cuidar da manutenção, suporte e treinamento para o data warehouse.
• Terceirizar esses serviços e tarefas a um terceiro ou fornecedor.
• No caso de um data warehouse de serviço completo baseado em nuvem, você pode optar por adicionar treinamento e suporte à taxa mensal.

A abordagem escolhida depende de seus requisitos e orçamento exclusivos, mas cada uma tem vantagens e desvantagens em diferentes cenários.

Estimativa de custo de data warehouse para cada componente

Para ajudá-lo a estimar o custo de construção de um data warehouse, aqui está uma análise dos custos médios de cada componente listado acima.

Observe que essas são apenas estimativas de custos de armazenamento de dados; os custos exatos dependerão do tamanho e da complexidade do seu projeto.

1. Custos de armazenamento de data warehouse

O armazenamento é talvez o componente de data warehouse mais caro, especialmente quando se trabalha com grandes quantidades de dados. Com base no fato de você optar por um serviço de armazenamento local ou em nuvem, você terá diferentes opções de custo.

Ao usar o armazenamento em nuvem, você paga por gigabyte ou terabyte de dados e pode dimensionar seu armazenamento conforme necessário. Como não há investimento inicial ou custos operacionais envolvidos na forma de hardware, espaço, infraestrutura ou engenheiros no local, o único custo associado à nuvem é o valor que você paga mensalmente (ou anualmente).

As soluções de armazenamento em nuvem mais populares (como Amazon Redshift, Microsoft Azure e GoogleBigQuery) custa entre $ 18.8 a $ 26.6 por terabyte (TB) por mês ($ 225.6 para US $ 319.2 por ano).

Por outro lado, você precisa fazer algum investimento inicial para armazenamento de dados no local. Isso inclui os custos de instalação e configuração do hardware e da infraestrutura necessários para armazenar seus dados. Isso incluirá máquinas servidoras, discos de armazenamento, acessórios de rede e engenheiros que gerenciarão e configurarão tudo.

Os custos iniciais podem começar a partir de apenas $ 3500. Ele pode aumentar com base no volume de dados e na redundância de que você precisa. Além do custo inicial, os custos operacionais, como eletricidade e suporte e manutenção no local, podem ser $ 1000 + por mês ($ 12,000 por ano).

2. ETL e custos de integração de dados para armazenamento de dados

Para ETL, você pode usar ferramentas de código aberto como SSIS para codificar manualmente sua própria solução de integração de dados. Embora isso não envolva custos de licenciamento, você deve contratar desenvolvedores e arquitetos de dados para desenvolver essa solução. Dependendo do número de recursos necessários, os pipelines ETL codificados de forma personalizada podem custar mais de US$ 100,000 e meses ou anos de desenvolvimento.

Os custos dependerão se você optar por usar uma ferramenta ETL dedicada, como Astera Centerpriseou uma solução DWA com funcionalidade ETL integrada, como Astera DW Builder, ou se você está comprando uma licença de preço fixo ou um modelo de pagamento por uso de preço variável. Em ambos os casos, os custos médios entre $ 100 a $ 4,000 + por mês, dependendo da ferramenta e de seus requisitos.

3. Custos de BI e análise de dados

A solução média de business intelligence custa algo entre $ 600 para US $ 6,000 por ano. Você pode encontrar várias ferramentas de BI no mercado, como Microsoft PowerBI, Tableau, Domo, Qlik, etc. Como nas ferramentas DWA, você pode pagar um preço de licença fixo por essas ferramentas ou pagar conforme o uso.

Se você deseja uma opção de orçamento, pode usar ferramentas de código aberto, como o ELK (Elasticsearch, Logstash e Kibana) pilha ou D3.js. No entanto, como acontece com a maioria das soluções de código aberto, você precisará de recursos técnicos para personalizar e manter suas visualizações e relatórios.

4. Custos de mão de obra para o projeto de armazenamento de dados

Anteriormente nesta postagem do blog, listamos os principais tipos de recursos humanos necessários em um projeto de data warehouse. Aqui está uma repartição dos salários de tais recursos:

• Gerentes de Tecnologia da Informação: $ 88,767 por ano
• Desenvolvedores: $ 72,048 por ano
• Arquitetos de banco de dados: $ 114,515 por ano
• Arquitetos de dados: $ 120,248 por ano
• Engenheiros de dados: $ 92,352 por ano
• Analistas de dados: $ 61,212 por ano

Vale ressaltar aqui que estes são apenas valores médios para tais funções, e as taxas reais dependerão da taxa de mercado na região/país em que você está contratando os recursos. Você também precisará levar em consideração custos como recrutamento e treinamento.

5. Outros Custos Relacionados ao Data Warehouse

O custo de manutenção e suporte geralmente é difícil de estimar antecipadamente. Isso pode incluir a correção de fluxos de ETL interrompidos quando as fontes mudam, atualizando o data warehouse para integrar novos sistemas, alterando configurações de entidades juntamente com testes regulares e outros.

No entanto, em média, as empresas alocam entre 56% e 72% de seu orçamento anual de armazenamento de dados para manutenção e suporte. Portanto, suponhamos que você tenha um orçamento de US$ 100,000 por ano para sua iniciativa de data warehouse depois de implantada e configurada. Nesse caso, US$ 56,000 a US$ 72,000 por ano seriam gastos em manutenção, treinamento e suporte de data warehouse.

Na maioria dos casos, isso envolve o custo da equipe técnica interna que gerencia e mantém seu data warehouse. Como com os outros componentes de custo, a abordagem que você usa para construir seu data warehouse impacta muito (nuvem x local, pipelines ETL de código personalizado x interface de arrastar e soltar, etc.) quanto esses outros custos serão .

Qual é o custo médio de implementação de data warehouse?

Usando a divisão que fornecemos acima, aqui estão os valores estimados (médios) sobre o custo anual da implementação do armazenamento de dados:

Armazenamento (nuvem): $ 273 por TB anualmente (a $ 22.7 por TB mensal).

Armazenamento (no local): $ 12,000 anuais (em $ 1,000 mensais).

Software de Business Intelligence / Visualização: $ 3,000 anuais (em $ 250 mensais).

Ferramenta ETL: $ 24,600 anuais (em $ 2,050 mensais).

Recursos humanos: $ 268,079 por ano (supondo que você precise, no mínimo, de um arquiteto de banco de dados, um analista de dados e um engenheiro de dados).

Outros custos e manutenção: $ 64,000 por ano.

Resumindo esses números, o custo médio de construção de um data warehouse com armazenamento em nuvem é de cerca de US$ 359,951 por ano.. Com o armazenamento no local, trata-se de $ 372,279 por ano. No entanto, o custo real dependerá de vários fatores discutidos nas seções anteriores. Portanto, as perguntas a serem feitas ao construir um data warehouse são:

• De quanto armazenamento precisamos?
• Queremos armazenar meus dados na nuvem ou no local?
• Devemos construir um data warehouse do zero ou comprar uma solução de Data Warehouse as a Service (DWaaS)?
• Devemos usar uma ferramenta ETL pay-per-use ou escrever nossas próprias soluções personalizadas? Há alguma consideração para construir um data warehouse em tempo real?
• De quantos recursos precisaremos para gerenciar, manter e dar suporte ao nosso projeto de data warehouse?

Com base em suas respostas, os custos reais para a construção de um data warehouse podem variar entre US$ 1,000 e US$ 200 milhões por ano.

Data Warehouse é um investimento lucrativo?

Vamos prosseguir com as considerações de ROI para construir um data warehouse. Antes de fazer esse investimento, é importante conhecer as vantagens de construir um data warehouse e os possíveis retornos.

Cerca de uma década atrás, a análise de custo-benefício de um projeto de armazenamento de dados não era muito alta. Naquela época, havia dois desafios principais. Primeiro, os armazéns de dados foram construídos do zero e a implementação no local foi a única escolha das organizações. Isso levou a gastar muito dinheiro em hardware e recursos humanos.

Em segundo lugar, a taxa de falha dos projetos de armazenamento de dados era bastante alta. As equipes de desenvolvimento levariam anos e anos para acertar a implementação, levando as organizações a gastar milhões com baixo ROI.

Hoje, o cenário é outro. O custo de construção de um data warehouse é muito menor do que costumava ser há uma década. Para armazenamento, você pode optar pela nuvem para reduzir significativamente os custos. Da mesma forma, em vez de ter uma equipe dedicada para escrever código e consultas SQL para modelos de dados, pipelines ETL e pacotes de inteligência de negócios, você pode optar por ferramentas líderes do setor disponíveis por uma fração do custo.

utilização ferramentas modernas de data warehouse, gostar Astera DW Builder, você pode reduzir os custos para começar a usar uma solução de armazenamento de dados. Você gasta menos com infraestrutura, recursos humanos e sobrecarga de manutenção e mais com o que importa, ou seja, extrair insights ocultos de seus dados de negócios. Isso pode significar a diferença entre o sucesso e o fracasso.

Embora um data warehouse seja um investimento considerável, ele também promete altos retornos se bem feito. A inteligência de negócios, análises e relatórios que você obtém de um data warehouse são de grande valor. Eles permitem que você tome decisões mais inteligentes e informadas para impulsionar o sucesso do seu negócio.

Astera DW Builder reduz os custos de armazenamento de dados de forma impactante

Depois de examinar os vários fatores de custo, faz sentido adotar uma ferramenta poderosa com recursos ágeis de armazenamento de dados. Isso pode significar a diferença entre o sucesso e o fracasso de sua iniciativa moderna de data warehouse. Você está procurando reduzir os custos do projeto e, ao mesmo tempo, garantir maior qualidade de implementação? Então Astera O DW Builder é a escolha certa para sua pilha de tecnologia.

Astera Construtor de DW é uma plataforma unificada para automação e gerenciamento de data warehouse. O software fornece uma solução completa para criando modelos de dados dimensionais, desenvolvendo pipelines de ETL, simplificando a implantação para armazéns de dados em nuvem (como Amazon RDS e Snowflake) e gerenciamento e manutenção inteligente de seu data warehouse.

Como o DW Builder usa arquitetura orientada a metadados para automatizar vários processos EDW para você, sua equipe precisa se concentrar em o que você precisa do data warehouse em vez de como você o construirá de maneira econômica.

Como a plataforma oferece um ambiente sem código para o desenvolvimento, é possível instalar, configurar e implementar seu data warehouse com uma equipe pequena, evitando que você contrate uma grande força de trabalho. Além disso, Astera O DW Builder oferece um modelo de preço de assinatura anual transparente que ajuda você a gerenciar e controlar melhor seus custos de data warehouse.

Pronto para reduzir seus custos de serviços de armazenamento de dados e experimentar Astera Construtor DW? Contacte-nos hoje para agendar uma demonstração ou fale com nossa equipe.

[/ fusion_text] [/ fusion_builder_column] [/ fusion_builder_row] [/ fusion_builder_container]