كل ما تحتاج لمعرفته حول تكلفة بناء مستودع بيانات

By |2021-04-08T13:43:30+00:008 أبريل، 2021|
تكلفة بناء مستودع بيانات

تكلفة بناء مستودع بيانات

لنفترض أن مؤسستك قد وصلت إلى نقطة يكون فيها أفضل نهج لتحليل بياناتك واتخاذ قرارات مستنيرة هو من خلال مستودع بيانات. تقوم العديد من المؤسسات بتصميم وبناء مستودع بيانات لذكاء الأعمال وتحليلات البيانات لاكتساب ميزة تنافسية في السوق. مع تجميع جميع بيانات عملك في مستودع مركزي يعمل كمصدر وحيد للحقيقة ، يصبح إعداد التقارير أكثر قوة ، مما يؤدي في النهاية إلى قرارات أفضل وأكثر ربحية لمؤسستك.

عند إطلاق ملف تخزين البيانات مبادرة داخل مؤسستك ، تحتاج إلى معالجة عدة أسئلة. ما هي الأدوات التي يجب أن تستخدمها؟ هل يجب عليك بناء أو شراء حل مستودع البيانات؟

من بين هذه الأسئلة ، أحد أهم الأسئلة هو: كم سيكلف إنشاء مستودع بيانات لمؤسستك؟ قد يكون حساب متوسط ​​التكلفة لإنشاء مستودع بيانات أمرًا صعبًا ، خاصةً عند مشاركة العديد من العوامل والأجزاء المتحركة في دورة حياة DW.

في منشور المدونة هذا ، قمنا بتقسيم وتبسيط التكلفة الحقيقية لبناء مستودع بيانات ومناقشة كيفية تحديد عائد الاستثمار لمبادرتك.

مكونات التكلفة في بناء مستودع بيانات

قبل أن نوفر لك أرقامًا ثابتة لتقدير تكلفة مستودع البيانات ، دعنا نناقش المكونات الرئيسية التي تؤثر على تكلفة مستودع البيانات. نظرًا لأن كل مشروع لمستودع البيانات يختلف ويستند إلى متطلبات العمل الفريدة واحتياجات التحليلات ، ستختلف تكلفة كل مكون.

فيما يلي تفصيل لمكونات التكلفة لـ مستودع البيانات:

  1. قم ببناء مستودع البيانات الخاص بك في السحابة أو في مكان العمل

القرار الأول الذي يتعين عليك اتخاذه هو ما إذا كنت ستقوم بتخزين جميع بياناتك في مكان العمل أو على السحابة ، أي المكان الذي سيتم فيه استضافة مستودع البيانات الخاص بك بالفعل. يتطلب التخزين المحلي شراء وصيانة جميع الأجهزة والبرامج بنفسك ، بينما باستخدام الحل المستند إلى السحابة ، يكون لديك مزود الخدمات السحابية للتعامل مع كل شيء نيابة عنك.

من خلال الحل داخل الشركة ، تتمثل الفوائد في زيادة الأمان والتحكم المحسن في كيفية ومكان تخزين بياناتك والقدرة على الوصول إلى معلوماتك واستردادها دون الاعتماد على الإنترنت عالي السرعة والاتصال. ومع ذلك ، على الجانب الآخر ، هناك العديد من النفقات العامة التي تنطوي على استثمارات مقدمة عالية ، وزيادة تكلفة الصيانة ، وزيادة مخاطر فقدان البيانات ، ومحدودية قابلية التوسع.

من ناحية أخرى ، تعد السحابة خيار التخزين المفضل لمعظم المؤسسات. أ تقرير 2021 Flexera يشير إلى أن 87٪ من المؤسسات التي لديها مستودع بيانات إما أنها تجرِّب أو تستخدم حاليًا أو تخطط لاستخدام السحابة لمشاريع مستودعات البيانات الخاصة بها. يسير هذا جنبًا إلى جنب مع حقيقة أن مستودعات البيانات المستندة إلى السحابة أسهل في الإعداد ، وأسهل في الصيانة ، ولا تتطلب أي مساحة تخزين داخل الشركة أو استثمارًا مقدمًا. أنت تدفع فقط مقابل ما تستخدمه وتتمتع بالرفاهية لتوسيع نطاق التخزين والموارد الحاسوبية أو تقليلها بناءً على احتياجات عملك.

  1. ETL: كتابة التعليمات البرمجية يدويًا مقابل أداة ETL

استخراج وتحويل وتحميل (ETL) هي عملية نقل البيانات من موقع (مواقع) المصدر إلى مستودع البيانات الهدف. يتضمن ذلك تكامل البيانات وترحيلها وتحويلها ومزامنتها إلى المستودع الخاص بك من مصادر البيانات المختلفة.

ETL هو عنصر أساسي في أي تطبيق DW، وتعتمد التكلفة على ما إذا كنت تختار كتابة التعليمات البرمجية والبرامج النصية الخاصة بك لـ ETL داخل الشركة أو اختيار أداة ETL جاهزة لملء مستودع البيانات الخاص بك.

تسمح كتابة SQL المخصص لعمليات ETL الخاصة بك بتخصيص حركة البيانات إلى المستودع وفقًا لاحتياجات عملك ، ولكنها تأتي مع اعتبارات ضخمة تتعلق بالوقت والميزانية. لتشفير تدفقات ETL يدويًا ، ستحتاج إلى فريق مخصص من مطوري ETL الذين سينسقون مع مصممي البيانات وخبراء DW لإنشاء خطوط أنابيب ETL ، والتي يمكن أن تستغرق شهورًا أو سنوات لإكمالها بسهولة.

على عكس ذلك ، فإن اختيار ملف أتمتة مستودع البيانات أيضًامع وظائف ETL المدمجة ، مثل Astera DW Builder ، يمكنك من بناء خطوط أنابيب ETL بسرعة على مستوى منطقي. ليس ذلك فحسب ، استنادًا إلى الموارد التي تدخل في العملية اليدوية ، يمكنك تطوير خطوط أنابيب ETL بجزء بسيط من التكلفة. هذه الأدوات متعددة الاستخدامات وقوية. إنها تدعم مصادر البيانات المختلفة ، وتوفر العديد من خيارات التحويل ، وتوفر إمكانيات تنسيق العمليات لتحميل ومزامنة البيانات الواردة إلى المستودعات.

  1. ذكاء الأعمال وإعداد التقارير

الهدف الأساسي لمعظم مبادرات تخزين البيانات هو تحسين اتخاذ القرار من خلال ذكاء الأعمال (BI) وتحليلات البيانات. هذا هو السبب في أن مستودعات البيانات غالبًا ما يتم إقرانها بأدوات قوية لإعداد التقارير وذكاء الأعمال لتصور البيانات واكتشاف رؤى واضحة وإنشاء تقارير للتحليلات. ومع ذلك ، فإن أدوات BI والتصور هذه تأتي بسعر أيضًا.

سيتعين على الشركات اختيار شراء حل ذكاء الأعمال الخاص بالمؤسسة أو استخدام مكتبة مفتوحة المصدر مثل D3.js أو Kibana لتلبية متطلبات التصور الخاصة بهم.

بينما توفر الأدوات مفتوحة المصدر مزيدًا من الحرية ، إلا أن هناك تكلفة عالية للموارد البشرية المرتبطة بها نظرًا لأنك تحتاج إلى كل من المطورين ومحللي البيانات لإنشاء تصورات. من ناحية أخرى ، فإن معظم أدوات ذكاء الأعمال للمؤسسات ، مثل Tableau و Microsoft Power BI ، بديهية وسهلة الاستخدام ، لذلك هناك القليل من النفقات العامة بخلاف تكلفة الأداة نفسها.

  1. الموارد البشرية

سواء كنت تستخدم ملف أداة أتمتة مستودع البيانات (DWA) لبناء مستودع البيانات الخاص بك أو الذهاب إلى طريقة ترميز مخصصة ، ستحتاج إلى فريق تطوير مؤهل للعمل في المشروع. يشتمل فريق تطوير مستودع البيانات النموذجي على مطوري ETL ومهندسي البيانات ومحللي البيانات ومهندسي البيانات ومديري تكنولوجيا المعلومات ومسؤولي قواعد البيانات.

يلعب كل مورد دورًا مختلفًا في المشروع ، وبناءً على النهج الذي تختاره ، سيختلف نوع وعدد الأشخاص الذين تحتاجهم. على سبيل المثال ، عند اختيار أداة DWA الجاهزة ، ستحتاج إلى موارد أقل في فريق التطوير الخاص بك ، ولكن إذا كنت تبحث عن حل مرمّز ، فستحتاج إلى فريق كبير يتألف من العديد من مطوري ETL والبيانات المهندسين ومصممي البيانات ومديري قواعد البيانات وغيرهم للعمل في المشروع.

  1. تكاليف أخرى: الصيانة والتدريب والدعم

يرتبط مكون التكلفة الأخير ولكن غالبًا ما يتم نسيانه لمستودع البيانات بالصيانة والتدريب والدعم (الفني وغير الفني) والترقيات. في معظم الحالات ، لديك ثلاثة خيارات لإدارة هذه التكاليف الأخرى:

  • استعن بفريق داخلي يمكنه التعامل مع الصيانة والدعم والتدريب لمستودع البيانات.
  • الاستعانة بمصادر خارجية لهذه الخدمات والمهام لطرف ثالث أو بائع.
  • في حالة وجود مستودع بيانات كامل الخدمات قائم على السحابة ، يمكنك اختيار إضافة التدريب والدعم إلى الرسوم الشهرية.

يعتمد النهج الذي اخترته على متطلباتك وميزانيتك الفريدة ، ولكن بشكل عام ، لكل منها مزاياها وعيوبها في سيناريوهات مختلفة.

تقدير تكلفة مستودع البيانات لكل مكون

لمساعدتك في تقدير تكلفة بناء مستودع البيانات الخاص بك ، فيما يلي تفصيل لمتوسط ​​التكاليف لكل مكون مدرج أعلاه.

لاحظ أن هذه مجرد تقديرات تكلفة مستودع البيانات ؛ ستعتمد التكاليف الدقيقة على حجم وتعقيد مشروع مستودع البيانات الخاص بك.

  1. تكاليف تخزين مستودع البيانات

ربما يكون التخزين هو أغلى مكون من مكونات مستودع البيانات ، خاصة إذا كنت تعمل بكميات ضخمة من البيانات. بناءً على ما إذا كنت تستخدم التخزين الداخلي والتخزين السحابي ، سيكون لديك خيارات تكلفة مختلفة.

عند استخدام التخزين السحابي ، فأنت تدفع مقابل كل جيجابايت أو تيرابايت من البيانات ويمكنك توسيع نطاق التخزين لديك عند الضرورة. نظرًا لعدم وجود استثمارات مسبقة أو تكاليف تشغيلية متضمنة في شكل أجهزة أو مساحة أو بنية تحتية أو مهندسين في الموقع ، فإن التكلفة الوحيدة المرتبطة بالسحابة هي المبلغ الذي تدفعه كل شهر (أو كل عام). تتكلف حلول التخزين السحابي الأكثر شيوعًا (مثل Amazon S3 و Microsoft Azure و Google Cloud Storage) 18.8 دولارًا أمريكيًا إلى 26.6 دولارًا أمريكيًا لكل تيرابايت (تيرابايت) شهريًا (225.6 دولارًا أمريكيًا إلى 319.2 دولارًا أمريكيًا في السنة).

من ناحية أخرى ، تحتاج إلى إجراء بعض الاستثمار مقدمًا للتخزين الداخلي لإعداد وتكوين الأجهزة والبنية التحتية التي ستحتاجها لتخزين بياناتك. سيشمل ذلك أجهزة الخوادم وأقراص التخزين وملحقات الشبكة والمهندسين الذين سيديرون ويهيئون كل شيء. يمكن أن تبدأ التكاليف الأولية من أقل من 3500 دولار وترتفع بناءً على حجم البيانات والتكرار الذي تحتاجه. بخلاف التكلفة الأولية ، يمكن أن تصل التكاليف التشغيلية مثل الكهرباء والدعم في الموقع وتكاليف الصيانة إلى 1000 دولار + شهر (12,000 دولار في السنة).

  1. ETL وتكاليف تكامل البيانات لتخزين البيانات

بالنسبة لـ ETL ، يمكنك اختيار استخدام أدوات مفتوحة المصدر مثل SSIS لترميز حل تكامل البيانات الخاص بك يدويًا. في حين أن هذا لن ينطوي على تكاليف الترخيص ، سوف تحتاج إلى توظيف مطورين ومهندسي بيانات لتطوير هذا الحل. اعتمادًا على عدد الموارد التي تحتاجها ، يمكن أن تكلف خطوط أنابيب ETL ذات الترميز المخصص أكثر من 100,000 دولار أمريكي وتستغرق شهورًا أو سنوات من التطوير.

على عكس ذلك ، إذا اخترت استخدام أداة ETL مخصصة ، مثل Astera Centerprise، أو حل DWA مع وظائف ETL مدمجة ، مثل Astera DW Builder ، ستعتمد التكاليف على ما إذا كنت تشتري ترخيصًا بسعر ثابت أو نموذجًا متغيرًا للدفع لكل استخدام. في كلتا الحالتين ، متوسط ​​التكاليف بين 100 دولار أمريكي و 4,000 دولار أمريكي شهريًاحسب الأداة ومتطلباتك.

  1. تكاليف تحليل المعلومات والبيانات

متوسط ​​تكلفة حل ذكاء الأعمال في أي مكان بين $ 600 ل6,000 $ سنويا. يمكنك العثور على العديد من أدوات ذكاء الأعمال في السوق ، مثل Microsoft PowerBI و Tableau و Domo و Qlik وغيرها. كما هو الحال مع أدوات DWA ، يمكنك إما دفع سعر ترخيص ثابت لهذه الأدوات أو الدفع حسب الاستخدام.

من ناحية أخرى ، إذا كنت تبحث عن خيار الميزانية ، فيمكنك البحث عن أدوات مفتوحة المصدر ومجانية مثل ELK (Elasticsearch و Logstash و Kibana) مكدس أو D3.js. ومع ذلك ، تمامًا كما هو الحال مع معظم الحلول مفتوحة المصدر ، ستحتاج إلى موارد تقنية متاحة لتخصيص تصوراتك وتقاريرك والحفاظ عليها.

  1. تكاليف العمالة لمشروع تخزين البيانات

أدرجنا الأنواع الرئيسية للموارد البشرية التي ستحتاجها في مشروع مستودع البيانات سابقًا في منشور المدونة هذا. فيما يلي تفصيل لرواتب هذه الموارد:

ومن الجدير بالذكر هنا أن هذه مجرد أرقام متوسطة لمثل هذه الأدوار ، وستعتمد المعدلات الفعلية على سعر السوق في المنطقة / الدولة التي توظف فيها الموارد. ستحتاج أيضًا إلى مراعاة التكاليف مثل التوظيف والتدريب في هذا الأمر.

  1. التكاليف الأخرى المتعلقة بمخزن البيانات

عادة ما يكون من الصعب تقدير تكلفة الصيانة والدعم مقدمًا. قد يشمل ذلك إصلاح تدفقات ETL المعطلة عند تغيير المصادر ، وتحديث مستودع البيانات لدمج الأنظمة الجديدة ، وتغيير التكوينات للكيانات جنبًا إلى جنب مع الاختبار المنتظم ، وغيرها. ومع ذلك ، في المتوسط ​​، تخصص الأعمال في أي مكان بين 56٪ إلى 72٪ من ميزانية مستودع البيانات السنوية للصيانة والدعم. لذلك ، لنفترض أن لديك ميزانية قدرها 100,000 دولار سنويًا لمبادرة مستودع البيانات الخاصة بك بعد نشرها وتهيئتها ، وفي هذه الحالة ، سيتم إنفاق 56,000 دولار إلى 72,000 دولار سنويًا على الصيانة والتدريب ودعم مستودع البيانات.

في معظم الحالات ، يتضمن ذلك تكلفة الفريق الفني الداخلي الذي سيتولى إدارة مستودع البيانات وصيانته. كما هو الحال مع مكونات التكلفة الأخرى ، فإن النهج الذي تستخدمه لبناء مستودع البيانات الخاص بك يؤثر بشكل كبير (السحابة مقابل المحلية ، وخطوط أنابيب ETL المخصصة مقابل واجهة السحب والإفلات ، وما إلى ذلك) على مقدار هذه التكاليف الأخرى .

ما هو متوسط ​​تكلفة تنفيذ مستودع البيانات؟

لتلخيص جميع تكاليف مستودع البيانات في قسم واحد موجز ، باستخدام التفاصيل التي قدمناها أعلاه لجميع مكونات مستودع البيانات ، إليك بعض الأرقام المقدرة (المتوسطة) حول التكلفة التي سيكلفك بها تطبيق تخزين البيانات سنويًا:

التخزين (السحابة): 273 دولارًا لكل تيرابايت سنويًا (بسعر 22.7 دولارًا لكل تيرابايت شهريًا).

التخزين (في مكان العمل): 12,000 دولار في السنة (1,000 دولار في الشهر).

برامج ذكاء الأعمال / التصور: 3,000 دولار في السنة (250 دولار في الشهر).

أداة ETL: 24,600 دولار في السنة (2,050 دولار في الشهر).

الموارد البشرية: 268,079،XNUMX دولارًا سنويًا (بافتراض أنك بحاجة ، على الأقل ، إلى مهندس قاعدة بيانات ومحلل بيانات ومهندس بيانات).

تكاليف وصيانة أخرى: 64,000 دولار في السنة.

بتلخيص هذه الأرقام ، فإن متوسط ​​تكلفة بناء مستودع بيانات مع التخزين السحابي حوالي 359,951 دولار في السنة ، والتخزين في مقر الشركة على وشك $ 372,279 سنويا. ومع ذلك ، ستعتمد التكلفة الحقيقية على مجموعة متنوعة من العوامل التي تمت مناقشتها في الأقسام السابقة. لذلك ، فإن الأسئلة التي يجب طرحها عند إنشاء مستودع بيانات هي:

  • ما مقدار التخزين الذي نحتاجه؟
  • هل نريد تخزين بياناتي على السحابة أو في مكان العمل؟
  • هل يجب علينا إنشاء مستودع بيانات من البداية أو شراء حل مستودع البيانات كخدمة (DWaaS)؟
  • هل يجب أن نستخدم أداة ETL للدفع لكل استخدام أم نكتب حلولنا المخصصة؟ هل هناك أي اعتبارات لبناء مستودع بيانات في الوقت الفعلي؟
  • كم عدد الموارد التي سنحتاجها لإدارة مشروع مستودع البيانات وصيانته ودعمه؟

بناءً على إجاباتك ، يمكن أن تتراوح التكاليف الفعلية لإنشاء مستودع بيانات لمؤسستك بين 1,000 دولار و 200 مليون دولار سنويًا.

هل مستودع البيانات استثمار مربح؟

الآن ، دعنا ننتقل إلى اعتبارات عائد الاستثمار لبناء مستودع بيانات. لأنه قبل القيام بمثل هذا الاستثمار ، من المهم معرفة مزايا بناء مستودع بيانات وما إذا كانت هذه المبادرة ستمنحك العوائد المربحة التي تتوقعها.

منذ عقد أو نحو ذلك ، لم يكن تحليل التكلفة والعائد لمشروع تخزين البيانات مرتفعًا جدًا. في ذلك الوقت ، كان هناك تحديان رئيسيان. أولاً ، تم بناء مستودعات البيانات من الصفر ، وكان التنفيذ داخل الشركة هو الخيار الوحيد الذي تمتلكه المؤسسات ، مما أدى إلى إنفاق الكثير من الأموال على الأجهزة والموارد البشرية. ثانيًا ، كان معدل فشل مشاريع تخزين البيانات مرتفعًا جدًا ، وفي بعض الأحيان ، قد يستغرق الأمر من فرق التطوير سنوات وسنوات للحصول على التنفيذ الصحيح ، مما يؤدي إلى إنفاق الملايين من المؤسسات مع انخفاض عائد الاستثمار.

اليوم ، السيناريو مختلف. تكلفة بناء مستودع بيانات أقل بكثير مما كانت عليه قبل عقد من الزمان. للتخزين ، يمكنك اختيار السحابة لخفض التكاليف بشكل كبير. وبالمثل ، بدلاً من وجود فريق مخصص لكتابة التعليمات البرمجية واستعلامات SQL لنماذج البيانات وخطوط أنابيب ETL ومجموعة ذكاء الأعمال ، يمكنك اختيار الأدوات الرائدة في الصناعة والمتاحة بجزء بسيط من التكلفة.

يمكّن إستخدام برنامج أدوات مستودع البيانات الحديثة، مثل Astera DW Builder ، يمكنك تقليل عامل التكلفة وتوفير الكثير من النموذج المعياري الذي تحتاجه للبدء في مشروع تخزين البيانات. أنت تنفق أقل على النفقات العامة للبنية التحتية والموارد البشرية والصيانة والمزيد على الأمور المهمة بالفعل ، أي استخراج الرؤى الخفية من بيانات عملك التي يمكن أن تعني الفرق بين النجاح والفشل.

بشكل عام ، في حين أن مستودع البيانات هو استثمار كبير ، فإنه يعد أيضًا بعائدات عالية إذا تم القيام به بشكل صحيح. تعتبر معلومات الأعمال والتحليلات والتقارير التي تحصل عليها من مستودع البيانات ذات قيمة كبيرة ، مما يسمح لك باتخاذ قرارات أكثر ذكاءً واستنارة لدفع نجاح عملك.

Astera يقلل DW Builder تكاليف تخزين البيانات بشكل مؤثر

بعد النظر إلى عوامل التكلفة المختلفة ، من المنطقي اعتماد أداة قوية ذات قدرات تخزين بيانات رشيقة. يمكن أن يعني الفرق بين النجاح والفشل لمبادرة مستودع البيانات الحديثة الخاصة بك. إذا كنت تتطلع إلى خفض تكاليف المشروع مع ضمان جودة أعلى للتنفيذ ، إذن Astera DW Builder هو الخيار الصحيح لمجموعة التكنولوجيا الخاصة بك.

Astera DW Builder هي منصة موحدة لأتمتة وإدارة مستودعات البيانات. يوفر لك البرنامج حلاً متعدد الإمكانات لـ إنشاء نماذج بيانات الأبعاد، وتطوير خطوط أنابيب ETL ، وتبسيط النشر إلى مستودعات البيانات السحابية (مثل Amazon RDS و Snowflake) ، وإدارة مستودع البيانات وصيانته بذكاء. نظرًا لأن DW Builder يستخدم بنية قائمة على البيانات الوصفية لأتمتة العديد من عمليات EDW لك ، فإن كل ما يحتاجه فريقك هو التركيز على ما تطلبه من مستودع البيانات بدلا من كيف ستبنيها بطريقة فعالة من حيث التكلفة.

نظرًا لأن النظام الأساسي يوفر بيئة خالية من التعليمات البرمجية للتطوير ، فإنه يجعل من الممكن إعداد وتهيئة وتنفيذ مستودع البيانات الخاص بك مع فريق صغير ، مما يوفر عليك من توظيف قوة عاملة كبيرة. بالاضافة، Astera يقدم DW Builder نموذجًا شفافًا لتسعير الاشتراك السنوي يساعدك على إدارة تكاليف مستودع البيانات والتحكم فيها بشكل أفضل.

على استعداد لخفض تكاليف تخزين البيانات والعطاء Astera DW Builder محاولة؟ تواصل معنا اليوم ل جدولة عرض أو تحدث إلى فريقنا.