مناقشة الماضي والحاضر والمستقبل لتخزين البيانات مع خبير BI Paul Kellett

By |2021-12-07T08:24:54+00:00مسيرة 10th، 2021|

بينما نصعد إلى إصدار Astera DW Builder، نحن نتطلع إلى إعطاء القراء نظرة ثاقبة حول كيفية جعل هياكل ذكاء الأعمال الخاصة بهم أسرع وأكثر مرونة ، وفي النهاية أكثر ملاءمة لمتطلبات بيئة البيانات عالية السرعة وعالية السرعة اليوم.

عندما يتعلق الأمر ببناء وتنفيذ حلول فعالة لتخزين البيانات ، يمكن لعدد قليل من الناس التباهي بهذا النوع من أوراق الاعتماد بول كيليت يجلب إلى الطاولة. مع 25 عامًا من الخبرة في العمل على مجموعة واسعة من المشاريع للمؤسسات على كل المستويات ، رأى بول بشكل مباشر كيف استجاب العملاء للحاجة المتزايدة باستمرار لذكاء الأعمال عبر مؤسستهم.

مقابلة خبير تخزين البيانات

بول كيليت (خبير تخزين البيانات)

في هذه المحادثة الواسعة النطاق ، انتهزنا الفرصة للحصول على بعض أفكار Paul الصريحة حول موضوعات مثل - الوضع الحالي للمؤسسة BI ، وكيف الأتمتة يمكنه تسريع تطوير مستودعات البيانات ، وحيث يرى الصناعة تتجه خلال العامين المقبلين.

إذن ، ما هي أهم التطورات التي رأيتها في المؤسسة BI منذ أن بدأت في هذا المجال في رأيك؟

لذلك ، بدأت في هذه الصناعة منذ أكثر من 25 عامًا بما كان يُسمى آنذاك MIS (نظم المعلومات الإدارية) ، حيث عملت في الغالب في مشاريع قواعد البيانات. منذ ذلك الحين ، شاركت في العديد من مشاريع ذكاء الأعمال من المؤسسات إلى الإدارات والشركات الصغيرة والمتوسطة.

إذا كنت سأتحدث عن التغييرات الرئيسية التي رأيتها خلال ذلك الوقت ، فسأقول قدرًا أكبر بكثير من الوعي [بأهمية ذكاء الأعمال] ، وحجم بيانات أكبر ، وتعقيد أكبر حول البيانات ، وتكنولوجيا دعم محسنة. بينما التكاليف الأساسية والتعقيد dمع التقشير ، لا يزال هناك طريق للذهاب إلى هناك. [أعتقد] أن الجانب المرئي من ذكاء الأعمال قد تحسن أيضًا بشكل ملحوظ.

ما هي بعض حالات استخدام تخزين البيانات الأكثر شيوعًا التي تراها؟

تنوع حالات الاستخدام واسعة بشكل مدهش ولكن الأكثر شيوعًا هي بيئات Greenfield حيث قررت منظمة تنفيذ BI أو سيناريوهات الاستبدال للحلول الحالية. عادةً ما يكون الاستبدال مدفوعًا بحل حالي ضعيف / فاشل (وهو أمر مفاجئ مكان مألوف) أو استبدال أنظمة بيانات المصدر الأساسية. هناك أيضًا مجموعة متنوعة من حالات الاستخدام حيث يتم استبدال عناصر الحل تمامًا مثل استبدال ETL المشفر يدويًا بأداة ETL. هذا الأخير يميل إلى أن يكون أكثر تدريجيًا.

هل تعتقد أن كل مؤسسة يمكن أن تستفيد من مستودع البيانات؟

إن مستودع البيانات الحقيقي ليس متاحًا للجميع ولكني لم أر منظمة حتى الآن لا يمكنها تحسين استخدامها للبيانات والمعلومات.

يمكن أن يكون EDW استثمارًا كبيرًا. لذلك ، يتطلب [التنفيذ الناجح لـ] ذكاء الأعمال عادةً تغييرات ثقافية في كيفية استخدام الأعمال للبيانات. يمر أحد المسارات الشائعة إلى "ذكاء الأعمال الحقيقي" عبر مجموعات البيانات ، وحلول الإدارات ، وإعداد التقارير المحسّنة ، مع كل تطبيق لاحق يحسن استخدام المنظمة للبيانات. يقع EDW في نهاية هذا الطريق في كثير من الحالات.

ومن المفارقات أن الشركات الكبيرة في كثير من الأحيان ينتهي الأمر بأضرحة البيانات التي توفرها بيانات الاختناقذ. غالبًا ما يتم الاستيلاء على [هذه البُنى] بواسطة وحدات أعمال محددة ، وبالتالي فهي تدعم بشكل ضعيف الأعمال الأوسع نطاقاً بخلاف حل المؤسسة الحقيقي [مثل مستودع البيانات]. يكمن الحل في بناء المزيد من مجموعات البيانات لدعم عناصر الأعمال المختلفة. يجب بعد ذلك دمج هذه البيانات مع مستودع البيانات الأساسي.

هل هناك عوامل محددة تبحث عنها عند التوصية ببرنامج EDW للعميل؟

أبحث عن شركة لديها شهية لتحسين وعيها بالبيانات حيث يجب أن يتبع كل شيء من ذلك. أوصي باتباع نهج مرحلي حيثما أمكن ذلك. يمكن أن تكون اللعبة النهائية عبارة عن مستودع بيانات ، ولكن من المهم أن يتم تسليم فوائد الأعمال بشكل تدريجي.

ما هي بعض التحديات الرئيسية التي تراها تظهر أثناء عملية تطوير مستودع البيانات؟

ربما ، الوصول إلى البيانات وفهمها ... هذا الجزء ممتع دائمًا. يمكن أن يكون جعل الشركات ملتزمة بهذا النهج مهمة شاقة أيضًا. هناك قيد آخر أواجهه وهو عدم القدرة على الوصول إلى محترفي ذكاء الأعمال الذين يفهمون بالفعل التكنولوجيا ويمكنهم التحدث إلى الشركة.

ما هي أهم خطوة في رأيك للقيام بها بشكل صحيح أثناء تطوير مستودع البيانات؟ استخراج بيانات المصدر؟ بيانات النمذجة؟ إنشاء عمليات ETL؟

الجزء الأكثر أهمية هو النتيجة. يجب أن تكون البيانات في شكل يدعم ذكاء الأعمال. يعني هذا في المقام الأول أن البيانات لا تفقد أي معلومات وأنها متاحة بطريقة ذات صلة بالعمل.

هناك العديد من الطرق للوصول إلى هذه النقطة ، لكنها الوجهة الأكثر أهمية. بعد قولي هذا ، غالبًا ما تكون الوجهة في BI غير واضحة منذ البداية ، لذا فإن القدرة على تكييف النتيجة النهائية بسرعة بناءً على ما يتم تعلمه وتعليقات الأعمال أمر بالغ الأهمية. وهذا يعني وجود آلية فعالة وسريعة لتسليم البيانات بالإضافة إلى أداة عرض قادرة [في الواجهة الأمامية].

ما رأيك في البنى مثل بحيرة البيانات أو قبو البيانات؟ هل بدائل مستودع البيانات ، حلول تكميلية ، أم مجرد الكثير من الضجيج؟

بشكل عام ، هذه مكملة وليست أساسية. عادةً ما تكون بحيرات البيانات أرخص بكثير وأكثر وضوحًا في التنفيذ من الاثنين. إن مفهوم بحيرات البيانات راسخ نسبيًا وقد تمت إعادة تسميته مؤخرًا مؤخرًا. ربما كان يطلق عليه اسم مخزن البيانات التشغيلية (ODS) منذ أكثر من 20 عامًا. كثيرًا ما أقوم بإنشاء بحيرة بيانات غير مرئية كجزء من حل مستودع البيانات. غير مرئي لأنني لا أنشر وجودها كبحيرة بيانات حيث توجد مزايا المرونة وقابلية التدقيق. يمكن أن تكون بحيرة البيانات أيضًا مرحلة وسيطة رخيصة للحصول على حل ذكاء الأعمال الأكثر شمولًا على سبيل المثال تمكن من تحسين التقارير.

مخزن البيانات هو أكثر بكثير من مكون يحركها تكنولوجيا المعلومات. أكثر رسمية وتنظيماً ، ولا يمكن تبرير المنظمة البحرية الدولية في كثير من الأحيان بسبب التكاليف الإضافية والجداول الزمنية التي تضيفها إلى الحل. إذا كانت هناك حاجة لمشاركة البيانات المشتركة على نطاق واسع عبر العديد من التطبيقات بالإضافة إلى DW ، فسيصبح ذلك مبررًا.

برأيك ، ما هو الدور الذي تلعبه أدوات أتمتة مستودعات البيانات في تسريع وتبسيط تطوير مستودعات البيانات؟

تسربت. هائل. جسيم. هل يجب أن أستمر؟ في كثير من الأحيان ، يكون مستودع البيانات مشروعًا مترابطًا من نوع الشلال حيث يتم حبسنا نحن المهووسين بالتكنولوجيا في غرفة لفترة طويلة ويطلب منهم الخروج بأفضل حل لما نعتقد أن العمل يحتاج إليه. نعم ، أبالغ ، لكن العملية تحتاج إلى أن تكون سريعة ومتزايدة مع دورات مراجعة / مراجعة قصيرة متكررة التي تتفاعل مع الأعمال التجارية. بعبارة أخرى ، يجب أن يصبح تخزين البيانات مرنًا حقًا.

من التجربة السابقة ، نعلم أن تقسيم DW إلى العديد من القطع الصغيرة يقلل من المخاطر ويحسن جودة التسليم ويحسن المشاركة مع الأعمال. هذا أسهل بكثير للقيام به مع أدوات الأتمتة المناسبة.

هناك طريقة أخرى للنظر إلى هذا وهي من حيث عائد الاستثمار. في DW النموذجي ، يشكل جانب إعداد البيانات الجزء الأكبر من التكاليف. إن خفض هذه النفقات باستخدام التشغيل الآلي المناسب القائم على البيانات له فوائد عديدة ، من سرعة التسليم بجودة أفضل البيانات لخفض حاجز الدخول. 

من الواضح أن الجودة المحسنة هي ميزة حاسمة للأتمتة حيث يتم تقليل الكمية المخصصة والأكثر تعقيدًا والمعرضة للمشكلات بشكل كبير باستخدام أداة مناسبة.

ما الميزات / الوظائف التي تعتقد أنها ضرورية لأداة أتمتة مستودعات البيانات الفعالة؟

المهام القابلة للتكرار مثل معالجة الأخطاء والتدقيق وإنشاء sds، وما إلى ذلك ، يجب أن تكون بسيطة جدًا وقوية. هناك الكثير من المهام المتكررة في بناء DW. يجب أن يكون التكامل في أنظمة المصدر ونموذج الوجهة قويًا. من أجل الصيانة والتسليم السريع ، فإن القدرة على إجراء تحليلات التبعية لفهم المعالجة مهمة للغاية.

هل تعتقد أن مستودعات البيانات السحابية ستحل محل EDW في أماكن العمل؟ أو هل ترى أن النموذج المختلط لمستودع البيانات أكثر انتشارًا؟

غير متأكد. أرى تحركًا عامًا إلى DWs خارج الشركة لأنها توفر قدرًا أكبر من المرونة ، لكن [نشر السحابة] لا يخلو من التحديات. من المحتمل أن تكون الثلاثة جميعًا شائعة مع نسبة أكبر من DWs السحابية مقارنة بالمباني.

أخيرًا ، أين ترى الصناعة تتحرك في السنوات الخمس المقبلة أو نحو ذلك؟

تتلقى العناصر "المثيرة" في ذكاء الأعمال ، مثل التحليلات التي تعتمد على الذكاء الاصطناعي والتصورات الأكثر قوة ، الجزء الأكبر من التركيز. من المحتمل أن تستمر هذه العناصر في السيطرة على الفضاء. ومع ذلك ، أرى ثورة هادئة في جانب توصيل البيانات. مع توفر البيانات التي تأخذ أهمية متزايدة حيث تدرك المنظمات أنها عادة ما تكون التكلفة الأكبر.

ألق نظرة مباشرة على مستقبل تخزين البيانات

حان الوقت الآن لتحديث ذكاء الأعمال الخاص بمؤسستك. مع Astera DW Builder ، يمكنك الاستفادة من منصة كاملة شاملة تعد بجعل تصميم وتطوير ونشر EDW الخاص بك سريعًا. اكتشف كيف يمكننا دعم حالة الاستخدام الخاصة بك ، اتصل بخبرائنا الفنيين اليوم.

الأسئلة المتكررة
يسير ذكاء الأعمال (BI) وتخزين البيانات جنبًا إلى جنب. يستخدم ذكاء الأعمال البيانات لتكوين رؤى توجه القرارات التكتيكية والاستراتيجية للأعمال. نظرًا لأن مستودع البيانات يساعد في تخزين البيانات وتحليلها وإعداد التقارير ، فإنه يعمل كعنصر أساسي في نظام ذكاء الأعمال. DW هي طريقة فعالة لدمج واسترداد وتخزين جميع بيانات المؤسسة. لذلك ، مع وجود بنية مستودع البيانات ، يمكن للمستخدمين النهائيين التأكد من أن البيانات التي يستخدمونها للتحليل دقيقة ومحدثة ومتسقة.

بعض الفوائد الرئيسية لمخزن البيانات هي:

  • تعمل مستودعات البيانات على تحسين ذكاء الأعمال وتدعم تحليلات البيانات المتقدمة.
  • يحول مستودع البيانات البيانات إلى تنسيق موحد ، مما يعزز جودة البيانات واتساقها.
  • يخزن مستودع البيانات البيانات التاريخية ، والتي يمكن أن تساعد في تحليل اتجاهات الأعمال والفترات.
  • سيساعدك مستودع البيانات الذي تم إنشاؤه جيدًا على تجنب التكاليف المرتبطة بفقد البيانات وجودة البيانات وشراء أدوات تكامل البيانات المتنوعة.
  • يتيح مستودع البيانات للأعمال التجارية أن تكون أكثر مرونة من خلال الوصول إلى مصادر بيانات متعددة دون مشاكل التكامل والتوافق.

غالبًا ما يتم الخلط بين بحيرة البيانات ومستودع البيانات لأنهما يُستخدمان لتخزين البيانات الضخمة. ومع ذلك ، هناك أربعة اختلافات أساسية بين بحيرة البيانات ومستودع البيانات.

أولاً ، تقوم بحيرات البيانات بتخزين البيانات الأولية ، بينما يخزن مستودع البيانات البيانات المكررة. ثانيًا ، في بحيرة البيانات ، يكون الغرض من البيانات غير محدد ، بينما يتم استخدام بيانات مستودع البيانات لهدف محدد داخل المؤسسة. علاوة على ذلك ، غالبًا ما يستخدم علماء البيانات بحيرة البيانات. من ناحية أخرى ، يستخدم المتخصصون في الأعمال على نطاق واسع مستودع البيانات. أخيرًا ، يختلف استخدام البيانات أو إمكانية الوصول أيضًا في الاثنين. تجعل بنية بحيرة البيانات إجراء أي تعديلات أكثر مرونة ، بينما تكون بنية مستودع البيانات أكثر تعقيدًا أو صلابة ، مما يجعل إجراء التغييرات أمرًا صعبًا ومكلفًا.