Seis razões pelas quais o Hadoop não é uma solução de integração

Em agosto, nosso blog, "Por que o software proprietário pode ser mais econômico do que o código aberto comercial, ”Esclareceu os leitores sobre os altos custos em potencial da escolha de código-fonte comercial (COS) comercial em vez de software proprietário. Neste blog, desenvolvemos esse tema discutindo as armadilhas da adoção do Hadoop como uma solução de integração de dados.

Caso você esteja se perguntando, o Hadoop é um projeto que está sendo construído, usado e mantido por uma comunidade global de colaboradores e usuários. É uma estrutura de software de código aberto desenvolvida para armazenamento e processamento em grande escala de conjuntos de dados.

Em resposta aos clientes que demonstram crescente interesse em potencialmente usar o Hadoop para auxiliar nos processos de integração de dados para dar suporte aos requisitos de armazenamento e análise de dados, os analistas do Gartner Merv Adrian e Ted Friedman definiram sua posição em um artigo publicado no ano passado que Hadoop não é uma solução de integração de dados.

Há uma diferença entre uma plataforma e uma solução. Embora o Hadoop possa oferecer alguns recursos robustos de dados, não é uma solução completa e pronta para o uso e pode custar muito mais do que o custo inicial de um pacote comercial de integração de dados.

Aqui estão alguns dos principais motivos pelos quais o Hadoop não é uma boa opção se você estiver procurando por uma solução completa de integração de dados:

1. Compensações no tempo de desenvolvimento
   Como o Hadoop não é uma solução completa, você estará investindo tempo significativo em projetos e recursos de desenvolvimento para escrever código personalizado que permita ao Hadoop executar funções básicas de integração de dados.
2. Disponibilidade de desenvolvedores experientes do Hadoop
   O desenvolvimento de código customizado para Hadoop requer profundo conhecimento em codificação MapReduce, um conjunto de habilidades que apenas um pequeno número de desenvolvedores possui. As habilidades que seus desenvolvedores existentes investiram no aprendizado de outra codificação de integração de dados não são transferíveis para o Hadoop, portanto, haverá uma curva de aprendizado acentuada.
3. Confiabilidade de dados
   Os complexos processos de integração de dados de hoje devem ser confiáveis, com monitoramento robusto, tratamento de erros, avaliação da qualidade e recursos administrativos. O suporte para esses recursos no Hadoop é limitado e não há funcionalidade para criação de perfil e qualidade de dados. Você precisará investir em ferramentas de terceiros e codificação personalizada para garantir a confiabilidade e a qualidade dos dados.
4. Suporte
   Tal como acontece com outras plataformas de código aberto, porque o Hadoop é um projeto de comunidade impulsionado pelas contribuições dos usuários, obter suporte quando e onde você precisar não é garantido. O suporte é fornecido com suas soluções comerciais de integração de dados, mas para Hadoop você precisará encontrar uma resposta dentro da comunidade. O tempo de conclusão do seu projeto de integração de dados pode ser seriamente comprometido enquanto você espera por ajuda.
5. Integração com sistemas legados
   As soluções proprietárias de integração de dados desenvolveram amplos recursos de conectividade para permitir a integração com sistemas legados para fins de migração de dados. Há pouco suporte para integração com outras ferramentas no Hadoop; portanto, se você precisar acessar dados herdados, precisará escrever código personalizado e implementar processos ETL complicados, aumentando seu tempo e custos de desenvolvimento.
6. Standards
   À medida que os dados se tornam mais complexos, os padrões estão se tornando cada vez mais importantes. Diferentemente das soluções proprietárias de integração de dados que fornecem gerenciamento sofisticado de metadados, o Hadoop não possui gerenciamento de metadados, o que limita sua capacidade de cumprir os padrões.

Resumo

O Hadoop tem fortes recursos para armazenar e gerenciar grandes quantidades de dados de maneira econômica e eficiente, mas é uma plataforma, não uma solução de integração de dados. Se você está pensando em adotar o Hadoop para suas necessidades de integração de dados, deve estar preparado para contratar desenvolvedores com experiência em escrever código Hadoop, para investir uma quantidade significativa de tempo e dinheiro para que essas pessoas transformem a plataforma Hadoop em algo semelhante a uma solução de integração de dados, e para permitir cronogramas de implementação e conclusão de projetos longos

Por outro lado, investir em uma solução completa de integração de dados como Centerprise Data Integrator o terá instalado e funcionando com todas as tecnologias e recursos que você precisa para atender às suas necessidades de integração de dados de forma rápida e fácil.