Шесть причин, по которым Hadoop не является решением для интеграции

В августе наш блог «Почему проприетарное программное обеспечение может быть более рентабельным, чем коммерческое программное обеспечение с открытым исходным кодом», просветил читателей о потенциально высоких затратах на выбор коммерческого программного обеспечения с открытым исходным кодом (COS) вместо проприетарного программного обеспечения. В этом блоге мы развиваем эту тему, обсуждая подводные камни внедрения Hadoop в качестве решения для интеграции данных.

Если вам интересно, Hadoop — это проект, который создается, используется и поддерживается глобальным сообществом участников и пользователей. Это программная платформа с открытым исходным кодом, разработанная для хранения и крупномасштабной обработки наборов данных.

В ответ на растущий интерес клиентов к потенциальному использованию Hadoop для помощи в процессах интеграции данных для поддержки требований к хранению данных и аналитике, аналитики Gartner Мерв Адриан и Тед Фридман определили свою позицию в статье, опубликованной в прошлом году: Hadoop не является решением для интеграции данных.

Существует разница между платформой и решением. Хотя Hadoop может предложить некоторые надежные возможности обработки данных, он не является законченным готовым решением для интеграции данных и может стоить намного дороже, чем первоначальная стоимость коммерческого пакета интеграции данных.

Вот несколько ключевых причин, почему Hadoop не является хорошим выбором, если вы ищете комплексное решение для интеграции данных:

1. Компромиссы времени разработки
   Поскольку Hadoop не является законченным решением, вам придется потратить значительное время проекта и ресурсы на разработку для написания собственного кода, который позволит Hadoop выполнять базовые функции интеграции данных.
2. Наличие опытных разработчиков Hadoop
   Разработка собственного кода для Hadoop требует глубоких знаний в области кодирования MapReduce — набора навыков, которыми обладает лишь небольшое количество разработчиков. Навыки, которые ваши существующие разработчики вложили в изучение другого кодирования интеграции данных, не могут быть перенесены в Hadoop, поэтому кривая обучения будет крутой.
3. Надежность данных
   Сегодняшние сложные процессы интеграции данных должны быть надежными, с надежным мониторингом, обработкой ошибок, оценкой качества и административными возможностями. Поддержка этих возможностей в Hadoop ограничена, а функции профилирования и качества данных отсутствуют. Вам придется инвестировать в сторонние инструменты и собственное кодирование, чтобы обеспечить надежность и качество ваших данных.
4. Поддержка
   Как и в случае с другими платформами с открытым исходным кодом, поскольку Hadoop — это проект сообщества, основанный на вкладе пользователей, получение поддержки в любое время и в любом месте не гарантируется. Поддержка предоставляется вместе с вашими коммерческими решениями по интеграции данных, но для Hadoop вам придется полагаться на поиск ответа внутри сообщества. Пока вы ждете помощи, время завершения вашего проекта интеграции данных может быть серьезно скомпрометировано.
5. Интеграция с устаревшими системами
   Собственные решения по интеграции данных обеспечивают широкие возможности подключения, обеспечивающие интеграцию с устаревшими системами в целях миграции данных. В Hadoop мало поддержки интеграции с другими инструментами, поэтому, если вам нужен доступ к устаревшим данным, вам придется писать собственный код и реализовывать сложные процессы ETL, что увеличивает ваше время и затраты на разработку.
6. Стандартный
   Поскольку данные становятся более сложными, стандарты становятся все более важными. В отличие от собственных решений по интеграции данных, которые обеспечивают сложное управление метаданными, Hadoop не имеет управления метаданными, что ограничивает его способность соответствовать стандартам.

Обзор

Hadoop обладает мощными возможностями для дешевого и эффективного хранения и управления огромными объемами данных, но это платформа, а не решение для интеграции данных. Если вы подумываете о внедрении Hadoop для своих нужд интеграции данных, вы должны быть готовы нанять разработчиков, имеющих опыт написания кода Hadoop, и потратить значительное количество времени и денег на то, чтобы эти люди превратили платформу Hadoop в нечто, напоминающее решение для интеграции данных. и обеспечить длительные графики реализации и завершения проекта.

С другой стороны, инвестиции в комплексное решение для интеграции данных, такое как Centerprise Data Integrator предоставит вам все технологии и возможности, необходимые для быстрого и легкого удовлетворения ваших потребностей в интеграции данных.