Six raisons pour lesquelles Hadoop n'est pas une solution d'intégration

En août notre blog, “Pourquoi un logiciel propriétaire peut être plus rentable qu'un logiciel open source commercial, ”Ont éclairé les lecteurs sur les coûts potentiellement élevés du choix du logiciel commercial open source (COS) par rapport au logiciel propriétaire. Dans ce blog, nous développons ce thème en abordant les pièges de l’adoption de Hadoop en tant que solution d’intégration de données.

Au cas où vous vous poseriez la question, Hadoop est un projet en cours de construction, d'utilisation et de maintenance par une communauté mondiale de contributeurs et d'utilisateurs. Il s'agit d'un framework logiciel open source développé pour le stockage et le traitement à grande échelle d'ensembles de données.

En réponse aux clients manifestant un intérêt croissant pour l'utilisation potentielle de Hadoop dans les processus d'intégration de données afin de répondre aux exigences en matière d'entreposage et d'analyse de données, les analystes de Gartner, Merv Adrian et Ted Friedman, ont défini leur position dans un article publié l'an dernier: Hadoop n'est pas une solution d'intégration de données.

Il y a une différence entre une plate-forme et une solution. Bien que Hadoop puisse offrir des fonctionnalités de données robustes, il ne s’agit pas d’une solution d’intégration de données complète et prête à l’emploi, et peut coûter bien plus que le coût initial d’un package d’intégration de données commercial.

Voici quelques raisons clés pour lesquelles Hadoop n'est pas un bon choix si vous recherchez une solution complète d'intégration de données:

1. Compromis de temps de développement
   Étant donné que Hadoop n'est pas une solution complète, vous investirez beaucoup de temps dans le projet et de ressources de développement pour écrire du code personnalisé permettant à Hadoop d'exécuter des fonctions d'intégration de données de base.
2. Disponibilité de développeurs Hadoop expérimentés
   Le développement de code personnalisé pour Hadoop nécessite une expertise approfondie du codage MapReduce, un ensemble de compétences que seul un petit nombre de développeurs possède. Les compétences que vos développeurs existants ont investies dans l'apprentissage d'autres codages d'intégration de données ne sont pas transférables pour Hadoop, il y aura donc une courbe d'apprentissage abrupte.
3. Fiabilité des données
   Les processus complexes d'intégration de données actuels doivent être fiables et dotés de capacités de surveillance, de traitement des erreurs, d'évaluation de la qualité et d'administration robustes. La prise en charge de ces fonctionnalités dans Hadoop est limitée et il n’existe aucune fonctionnalité de profilage et de qualité des données. Vous devrez investir dans des outils tiers et un codage personnalisé pour garantir la fiabilité et la qualité de vos données.
4. Assistance
   Comme pour les autres plates-formes open source, étant donné que Hadoop est un projet communautaire motivé par les contributions des utilisateurs, il n'est pas garanti d'obtenir du support quand et où vous en avez besoin. Le support est fourni avec vos solutions d'intégration de données commerciales, mais pour Hadoop, vous devrez compter sur la recherche d'une réponse au sein de la communauté. Le temps d'achèvement de votre projet d'intégration de données pourrait être sérieusement compromis pendant que vous attendez de l'aide.
5. Intégration avec les systèmes existants
   Les solutions d'intégration de données propriétaires ont développé de larges capacités de connectivité pour permettre l'intégration avec les systèmes existants à des fins de migration de données. L'intégration avec d'autres outils de Hadoop est peu prise en charge. Si vous avez besoin d'accéder à des données existantes, vous devrez écrire du code personnalisé et mettre en œuvre des processus ETL complexes, ce qui augmentera vos coûts de temps et de développement.
6. Normes
   À mesure que les données deviennent plus complexes, les normes deviennent de plus en plus importantes. Contrairement aux solutions d'intégration de données propriétaires qui fournissent une gestion sophistiquée des métadonnées, Hadoop ne dispose d'aucune gestion des métadonnées, ce qui limite sa capacité à se conformer aux normes.

Résumé

Hadoop possède de solides capacités pour stocker et gérer de grandes quantités de données à moindre coût et efficacement, mais il s'agit d'une plate-forme et non d'une solution d'intégration de données. Si vous envisagez d'adopter Hadoop pour vos besoins d'intégration de données, vous devez être prêt à embaucher des développeurs expérimentés dans l'écriture de code Hadoop, à investir beaucoup de temps et d'argent pour que ces personnes transforment la plate-forme Hadoop en quelque chose qui ressemble à une solution d'intégration de données, et permettre de longs calendriers de mise en œuvre et d'achèvement des projets.

D'autre part, investir dans une solution complète d'intégration de données telle que Centerprise Data Integrator vous permettra d'être opérationnel avec toutes les technologies et capacités dont vous avez besoin pour répondre rapidement et facilement à vos besoins d'intégration de données.