O Automatizado, Nenhum código Pilha de dados
Saiba como Astera O Data Stack pode simplificar e agilizar o gerenciamento de dados da sua empresa.
Práticas recomendadas de migração de dados para a nuvem para 2022 e além!
Embora a migração para a nuvem possa fornecer às empresas uma vantagem competitiva sustentável, é na estratégia e na implementação que elas podem cometer erros. Mais de US$ 100 bilhões migração gastar resíduos é esperado em três anos. Este desperdício é principalmente resultado de custos e atrasos desnecessários. Se você está planejando um projeto de migração de dados para sua empresa, aqui estão 7 práticas recomendadas de migração de dados para a nuvem para ajudá-lo a desenvolver um estratégia de migração na nuvem.
1. Prática recomendada de migração de dados para a nuvem: pesquisa e planejamento
A pesquisa e o planejamento são um dos primeiros passos que as organizações dão. Ainda assim, apressar a adoção da nuvem sem a devida diligência é um dos maiores erros que as empresas cometem. É melhor fazer uma avaliação e ter um plano. Não é tão simples quanto, “Ei, vamos migrar todos os nossos dados e aplicativos para a nuvem; Ouvi dizer que é muito fácil com Snowflake. ” De fato, Kent Graziano, um líder de pensamento no espaço de armazenamento de dados em nuvem, diz, “os contratos nem são tão fáceis porque há um planejamento de contrato adequado que você precisa realizar antes de iniciar o projeto de migração”.
As empresas precisam entender o estado atual e, mais importante, o estado futuro desejado que desejam alcançar. O plano de migração deve ser capaz de responder às perguntas que estão na mente de todo administrador de dados, “quais problemas de negócios um data warehouse baseado em nuvem resolver?”, “haverá problemas de segurança e conformidade na nuvem que não temos atualmente?”. “Existem problemas de negócios que não podemos resolver com uma infraestrutura local?”.
Talvez você queira se livrar das concessões em seus data centers ou alterar a equipe para ser mais remota. A verdadeira pergunta a fazer é: por que você está fazendo isso? Identifique esses problemas e priorize-os.
Certifique-se de que seu plano de migração incorpore todos os fatores.
Outro fator chave a ser considerado na fase de planejamento é a necessidade de sistemas legados. Como Kent realçado, em muitos casos, a pesquisa pode revelar sistemas e processos desnecessários que já foram substituídos por sistemas e dados de origem mais recentes, mas ainda estão em execução. Ninguém os desligou porque eles já haviam sido pagos e nenhum alerta foi configurado para desligar esses sistemas. Qualquer um poderia ir e desligá-los, e ninguém notaria.
Realizar o planejamento adequado e realizar uma avaliação completa ajudará a evitar que todos esses sistemas e dados de origem obsoletos se tornem parte de sua nova arquitetura de dados.
2. Melhor prática de migração de dados para a nuvem: não faça um Big Bang!
Enquanto muitas organizações priorizaram a abordagem big bang para o desenvolvimento nos primeiros dias de armazenamento de dados, essas implementações prolongadas devem ser evitadas. Infelizmente, este é um dos principais erros que as empresas ainda estão cometendo, e é aí que muito do seu orçamento está sendo desperdiçado. As pessoas pensam que é um simples aumento e mudança em que todos os dados e ferramentas, na verdade, toda a infraestrutura local, são portados para a nuvem. Quão difícil pode ser, certo?
O fato é que a infraestrutura local depende de ferramentas alimentadas por tecnologias mais antigas, e essas ferramentas não são compatíveis com o ambiente de nuvem. Portanto, há muito mais que precisa ser feito; na verdade, muitas dessas ferramentas legadas precisam ser substituídas. Portanto, as empresas devem considerar a abordagem incremental.
A capacidade de realizar testes de forma rápida e econômica, uma vez que as soluções em nuvem funcionam no modelo sob demanda, é uma das maiores razões pelas quais as empresas devem considerar o abordagem incremental. Em vez de comprar recursos de computação adicionais, como no caso de uma infraestrutura local, tudo o que os usuários precisam fazer na nuvem é se inscrever nos serviços relevantes e testá-los por alguns dias para ver se eles funcionam adequadamente. Isso economiza muito tempo, esforço e recursos.
3. Prática recomendada de migração de dados para a nuvem: saiba onde estão seus dados
Além de saber que precisa migrar para a nuvem, é preciso saber o que tem. Você não apenas precisa ter clareza sobre o problema de negócios que está tentando resolver, mas também precisa estar ciente dos perigos que podem surgir de uma proliferação de silos de dados.
Certifique-se de saber quais dados você tem e onde eles estão.
Portanto, é importante garantir que os dados corporativos sejam movidos apenas para o destino relevante e não terminem onde não deveriam estar. É também por isso que levantar e mudar não é a resposta correta na maioria das circunstâncias, a menos que estejamos falando de pequenas empresas com um único data warehouse local bem documentado.
Além disso, é essencial compreender completamente o mapa de dados quando há, em média, 115 fontes de dados alimentando seu pipeline de dados antes de começar com o migração de dados projeto.
4. Prática recomendada de migração de dados para a nuvem: migre apenas o que precisa ser migrado
Resolver problemas de qualidade de dados antes de fazer a transição para a nuvem é uma das principais práticas de migração de dados para a nuvem. As empresas devem ser capazes de definir o que qualidade de dados significa para eles e também medi-lo. Por exemplo, quando 1,000 linhas são integradas de um sistema de origem para a nuvem e todas as linhas migraram para a nuvem, você tem um excelente processo de qualidade de dados. No entanto, se você vir apenas, digamos, 800 linhas, isso provavelmente é um problema. Em essência, mesmo sem olhar para os dados, você tem um problema de qualidade de dados.
Portanto, é crucial definir princípios orientadores que definam o que a qualidade dos dados significa para o negócio. É igualmente importante entender que a migração para a nuvem em si não resolve nenhum problema de qualidade de dados. Se houver problemas de qualidade de dados com sua infraestrutura local, eles devem ser resolvidos antes de migrar para o ambiente de nuvem.
Certifique-se de resolver todos os problemas de qualidade de dados antes de embarcar em sua jornada de migração para a nuvem.
De acordo com o Koen Verbeeck, é principalmente uma merda, uma merda, no que diz respeito à qualidade dos dados. Isso significa essencialmente que a maioria dos problemas de qualidade de dados surge no nível de origem e é aí que eles devem ser resolvidos para garantir que seu projeto de migração de dados não carregue dados de baixa qualidade para seu novo data warehouse.
Com a nuvem e as tecnologias atuais, as empresas expõem seus dados mais rápido do que nunca. Deve haver um ciclo de feedback de qualidade de dados com a empresa para garantir que os dados expostos por meio de relatórios atendam aos requisitos de negócios.
5. Prática recomendada de migração de dados para a nuvem: aproveite a automação para agilidade
Automação está se tornando um ingrediente-chave para a migração para a nuvem e até mesmo para a infraestrutura de dados híbrida. Como a abordagem de elevação e mudança raramente faz sentido, as empresas devem adotar a abordagem incremental ou projetar a solução do zero, ou seja, optar por um desenvolvimento greenfield.
Como parte das práticas recomendadas de migração de dados para a nuvem, a automação ajuda na mudança de mentalidade necessária para adotar a nuvem. Suas equipes de dados podem ser mais ágeis, pois os ambientes em nuvem permitem testes fáceis e reduzem o medo de cometer erros. Por exemplo, ao automatizar a modelagem de descoberta de dados, as equipes permitem que a empresa esteja atenta a tudo o que tem no local para que possa experimentar o ambiente de nuvem. A automação leva essas informações para a nuvem, permitindo que as empresas vejam se o desempenho está conforme o esperado.
Garanta a agilidade usando a automação.
A automação não apenas ajuda na descoberta de esquemas, mas também automatiza a construção de junções para leitura e construção de pipeline de dados para carregamento de dados.
Tradicionalmente, a qualidade dos dados era tratada como um processo separado, que não era visto como parte do pipeline de dados. Ferramentas modernas permitem que os usuários incorporem regras de qualidade de dados de acordo com os padrões de negócios ao longo do pipeline de dados, garantindo que apenas dados íntegros cheguem ao data warehouse. Com a automação, todo o processo precisa ser feito uma vez e, a partir daí, seu pipeline de dados é configurado para fornecer dados de alta qualidade de forma consistente.
6. Determine se você precisa de uma área de preparação persistente ou transitória
Data lagos e data warehouses não são tecnologias; são conceitos. Sempre existiu o conceito de uma área de teste no mundo do armazenamento de dados. Alguns casos justificam a necessidade de uma área de teste persistente (PSA) onde o histórico de dados é retido. Ao mesmo tempo, outras situações exigem uma área de preparação temporária (TSA) onde os dados são apagados após serem carregados no data warehouse.
Garanta que suas áreas de preparação agreguem valor ao seu negócio.
Muitas empresas integram dados brutos de sistemas de origem a um data lake antes de transformá-los e carregá-los no data warehouse. No entanto, o importante a considerar é o valor que a empresa procura obter dessa área de preparação. Embora sempre haja um custo envolvido, o retorno do investimento e o custo total de propriedade são as métricas mais importantes a serem consideradas.
Uma das razões pelas quais as empresas consideram as áreas de teste valiosas, especialmente os PSAs, é porque podem integrar dados brutos a uma taxa significativamente mais rápida do que podem produzir dados selecionados. Os analistas de dados podem então mergulhar profundamente nesses dados brutos e identificar não apenas o que precisa ir para o data warehouse, mas também o que precisa ser carregado primeiro. Além disso, ter uma área de teste oferece auditabilidade e rastreabilidade porque a maioria dos sistemas de origem não mantém o histórico.
Se você estiver administrando um negócio no setor financeiro ou de saúde em que os dados têm um impacto significativo, você precisa ser capaz de rastrear suas decisões por meio dos dados selecionados até os dados brutos. E, se você não tiver esse data lake bruto ou o PSA, talvez não consiga voltar aos dados brutos que alimentam seu pipeline de dados. Isso significa que você nunca descobrirá se uma das transformações aplicadas estava errada.
7. Prática recomendada de migração de dados para a nuvem: implementar alertas de cobrança
Isso não pode ser enfatizado o suficiente, mas mesmo se você estiver apenas testando o ambiente de nuvem, certifique-se de configurar alertas de cobrança. As empresas apenas começam com a nuvem e configuram ativos e serviços apenas para perceber mais tarde que precisam apenas de recursos mínimos de armazenamento/computação ou que simplesmente não funciona para elas. Muitas vezes, as empresas não percebem que isso continua custando dinheiro porque não conseguem desligar esses serviços em nuvem corretamente. Portanto, uma das primeiras coisas a fazer durante a migração para a nuvem é aprender e implementar alertas de cobrança.
A decisão de migrar para a nuvem é apenas uma parte de toda a jornada – a parte mais fácil. É no planejamento e execução que a maioria das empresas começa a comprometer seu retorno sobre o investimento (ROI) e aumentar o custo total de propriedade (TCO). A boa notícia é que você pode mitigar facilmente a maioria dos riscos e economizar custos seguindo essas práticas recomendadas de migração de dados para a nuvem.
Astera Centerprise – O campeão de migração de nuvem de ponta a ponta
Além da capacidade de acelerar sua jornada de migração para a nuvem com pipelines de dados automatizados, Astera Centerprise oferece a liberdade de implantar seu data warehouse na plataforma de sua escolha. Centerprise agiliza o processo de mapeamento de dados com sua interface de usuário intuitiva de apontar e clicar. A qualidade dos dados é incorporada à arquitetura para garantir que apenas dados íntegros cheguem ao seu novo data warehouse.
Parece que você chegou ao fim e está ansioso para aprender mais. Agende uma demonstração e veja como a implementação dessas práticas recomendadas de migração de dados para a nuvem pode ajudar sua empresa a adotar a nuvem dentro do orçamento e no prazo.
