ستة أسباب لماذا Hadoop ليست حلا تكامليا

By |2019-08-23T06:06:51+00:00أكتوبر 16th، 2014|

في شهر أغسطس ، كانت مدونتنالماذا يمكن أن تكون البرمجيات الاحتكارية أكثر فعالية من حيث التكلفة من المصدر المفتوح التجاري، "المستنير القراء حول التكاليف العالية المحتملة لاختيار المصدر المفتوح التجاري (COS) على البرمجيات الاحتكارية. في هذه المدونة ، نبني على هذا الموضوع من خلال مناقشة مزالق اعتماد Hadoop كحل لتكامل البيانات.

إذا كنت تتساءل ، فإن Hadoop هو مشروع يتم بناؤه واستخدامه وصيانته من قبل مجتمع عالمي من المساهمين والمستخدمين. إنه إطار برنامج مفتوح المصدر تم تطويره للتخزين والمعالجة على نطاق واسع لمجموعات البيانات.

استجابة للعملاء الذين أظهروا اهتمامًا متزايدًا باستخدام Hadoop المحتمل للمساعدة في عمليات تكامل البيانات لدعم تخزين البيانات ومتطلبات التحليلات ، حدد محللو Gartner Merv Adrian و Ted Friedman موقفهم في مقال نشر العام الماضي Hadoop ليس حلاً لتكامل البيانات.

هناك فرق بين النظام الأساسي والحل. في حين أن Hadoop قد تقدم بعض إمكانات البيانات القوية ، إلا أنها ليست حلاً متكاملًا متكاملًا للبيانات ويمكن أن تكلف أكثر بكثير من التكلفة الأولية لحزمة تكامل البيانات التجارية.

فيما يلي بعض الأسباب الرئيسية التي تجعل Hadoop ليس خيارًا جيدًا إذا كنت تبحث عن حل متكامل لتكامل البيانات:

  1. مقايضات وقت التنمية
    نظرًا لأن Hadoop ليس حلاً كاملاً ، فسوف تستثمر وقتًا كبيرًا في المشروع وموارد التطوير لكتابة رمز مخصص يمكّن Hadoop من أداء وظائف تكامل البيانات الأساسية.
  2. توافر مطوري Hadoop ذوي الخبرة
    يتطلب تطوير كود مخصص لـ Hadoop خبرة عميقة في ترميز MapReduce ، وهي مجموعة مهارات يمتلكها عدد قليل فقط من المطورين. لا يمكن نقل المهارات التي استثمرها مطوروك الحاليون في تعلم ترميز تكامل البيانات الأخرى لـ Hadoop ، لذلك سيكون هناك منحنى تعليمي حاد.
  3. موثوقية البيانات
    يجب أن تكون عمليات دمج البيانات المعقدة اليوم موثوقة ، مع مراقبة قوية ومعالجة الأخطاء وتقييم الجودة والقدرات الإدارية. دعم هذه القدرات في Hadoop محدود ولا توجد وظائف لتحديد خصائص البيانات وجودتها. ستحتاج إلى الاستثمار في أدوات الجهات الخارجية والتشفير المخصص لضمان موثوقية البيانات وجودتها.
  4. الدعم
    كما هو الحال مع الأنظمة الأساسية الأخرى مفتوحة المصدر ، نظرًا لأن Hadoop هو مشروع مجتمعي مدفوع بمساهمات المستخدمين ، فإن الحصول على الدعم متى وأينما تحتاج إليه غير مضمون. يتم توفير الدعم من خلال حلول تكامل البيانات التجارية الخاصة بك ، ولكن بالنسبة إلى Hadoop ، ستحتاج إلى الاعتماد على العثور على إجابة داخل المجتمع. قد يتم اختراق وقت اكتمال مشروع تكامل البيانات بشكل خطير أثناء انتظار المساعدة.
  5. التكامل مع الأنظمة القديمة
    طورت حلول دمج البيانات المملوكة إمكانات اتصال واسعة لتمكين التكامل مع الأنظمة القديمة لأغراض ترحيل البيانات. هناك القليل من الدعم للتكامل مع الأدوات الأخرى في Hadoop ، لذلك إذا كنت بحاجة إلى الوصول إلى البيانات القديمة ، فسيتعين عليك كتابة رمز مخصص وتنفيذ عمليات ETL معقدة ، مما يضيف إلى وقتك وتكاليف التطوير.
  6. المعايير
    عندما تصبح البيانات أكثر تعقيدًا ، تزداد أهمية المعايير. على عكس حلول تكامل البيانات الخاصة التي توفر إدارة متطورة للبيانات الوصفية ، ليس لدى Hadoop إدارة للبيانات الوصفية ، مما يحد من قدرتها على الامتثال للمعايير.

الملخص

يتمتع Hadoop بقدرات قوية لتخزين وإدارة كميات هائلة من البيانات بتكلفة زهيدة وفعالة ، ولكنها منصة وليست حلاً لتكامل البيانات. إذا كنت تفكر في اعتماد Hadoop لاحتياجات تكامل البيانات الخاصة بك ، فيجب أن تكون مستعدًا لتوظيف مطورين ذوي خبرة في كتابة كود Hadoop ، لاستثمار قدر كبير من الوقت والمال لهؤلاء الأشخاص لتحويل نظام Hadoop الأساسي إلى شيء يشبه حل تكامل البيانات ، وللسماح بتنفيذ المشروع الطويل والجداول الزمنية للانتهاء منه.

من ناحية أخرى ، الاستثمار في حل متكامل لتكامل البيانات مثل Centerprise Data Integrator سوف تجعلك تعمل مع جميع التقنيات والإمكانيات التي تحتاجها لتلبية احتياجات تكامل البيانات الخاصة بك بسرعة وسهولة.