Jumpstart Data Warehouse Development باستخدام النمذجة الآلية لبيانات المؤسسة

ماذا لو كان بإمكانك الجمع بين تصميم مستودع البيانات وتطويره في عملية مؤتمتة وسلسة تأخذك من إعداد التقارير الأساسية إلى التحليلات المتقدمة عالية المستوى في غضون أسابيع فقط؟ حسنًا ، احصل على عملية نمذجة البيانات بشكل صحيح ، ويمكنك إنشاء بنية BI سريعة وقابلة للتطوير ورشيقة. تابع القراءة للحصول على نظرة متعمقة حول كيفية جعل تطوير نموذج بيانات المؤسسة يعمل لصالح عملك.

في جوهرها ، تم بناء مستودعات البيانات للإجابة على أسئلة العمل. يمكن أن تتراوح هذه من الاستعلامات الوصفية البسيطة التي تركز على إنشاء تقارير دورية إلى تحليلات أكثر طموحًا بكثير موجهة نحو التحقيق في العوامل الكامنة وراء سيناريو لإدارة البيانات الفعالة. للحصول على هذا النوع من المعلومات الاستخبارية المستهدفة من نظام BI الخاص بك ، يجب عليك التأكد من أن متطلبات المستخدم متداخلة بإحكام مع مفاهيم الأعمال أثناء مرحلة تطوير مستودع البيانات.

أفضل طريقة لربط أهداف المستخدم النهائي بهندسة البيانات الخاصة بك هي وضع نمذجة بيانات المؤسسة في مقدمة ومركز مستودع البيانات الخاص بك. هذه المخططات عبارة عن مخططات بيانية لعلاقة الكيانات المرئية وتشكل أنظمة مصدر وترتيبها في بنية محسّنة مناسبة للاستعلام السريع وسهولة الاستخدام. والأهم من ذلك ، أنها تُظهر منطق الأعمال الأساسي وراء العمليات التشغيلية المختلفة بتنسيق يمكن فهمه على الفور للمستخدمين غير التقنيين والمطورين على حدٍ سواء.

إذا تم تصميمه بشكل صحيح ، يمكن تحقيق فوائد نموذج بيانات المؤسسة بالكامل مستودع البيانات. سيساعدونك في تحديد المكان الذي يجب استرداد البيانات الهامة منه ، والأنظمة الأساسية التي يمكنها دعم نموذج البيانات المادية وقاعدة البيانات بشكل أفضل ، وكيف ستتدفق خطوط أنابيب البيانات من المصدر إلى الوجهة.

دعنا نلقي نظرة على بعض تقنيات نمذجة البيانات الأساسية الضرورية لهذه العملية.

ابدأ من المصدر

قم بتكرار أنظمة المصدر الخاصة بك بدقة ، وقد ينتهي بك الأمر بمخطط يبدو شيئًا كهذا

أول شيء تحتاج إلى التأكد منه أثناء نمذجة المخطط هو أنه يمكنك نسخ أنظمة المصدر على المستوى المنطقي بدقة.

للقيام بذلك ، يجب عليك تحديد مكان وجود بياناتك الهامة - هل هي في ملف قاعدة بيانات في مكان العمل ، أو بحيرة بيانات سحابية ، أو على منصة CRM مثل Salesforce؟ بالطبع ، ستكون الجداول المحددة فقط ضمن هذه التطبيقات ذات صلة بأغراض ذكاء الأعمال. إذا كنت تقوم بالفعل بإنشاء تقارير في أنظمة المعاملات الخاصة بك ، فستكون لديك فكرة جيدة حول مجموعات البيانات التي يجب دمجها في مستودع البيانات الخاص بك. في النهاية ، تريد التأكد من أنك قادر على تشغيل جميع الاستعلامات نفسها كما كان من قبل ، دون مقاطعة.

إنشاء إطار معياري للبيانات الوصفية

أثناء قيامك بإنشاء نماذج بيانات منطقية للمؤسسة لتشمل جميع مصادرك ، البيانات الوصفية يجب أن يتم تطبيقه باستمرار عبر كل واحد.

في مرحلة التصميم ، تريد:

• إنشاء علاقات بين الكيانات باستخدام المفاتيح الأساسية المناسبة والمفاتيح الخارجية
• تأكد من أنك تقوم بربط الجداول بشكل صحيح ، وأن أنواع علاقة الكيانات محددة بشكل صحيح ، لذلك ، متعدد بأطراف ، واحد بأطراف ، أصل - فرعي ، إلخ.
• ضع اسمًا مستعارًا مناسبًا لضمان إرجاع نوع الكيان / الحقل عند تنفيذ استعلام في مستودع البيانات. على سبيل المثال ، إذا قمت بإنشاء علاقة بين العملاء والطلبات وبين الوالدين والطفل ، فمن السهل تصفية العملاء حسب الطلب ، ولكن إذا حاولت القيام بذلك بالعكس ، فستحتاج إلى التأكد من ربط الطلبات بـ عميل واحد وإلا سيفشل الاستعلام. تم حل هذه المشكلة باستخدام الاسم المستعار.
• يجب أيضًا توحيد اصطلاحات التسمية للسمات عبر نموذج بيانات مؤسستك لضمان سهولة الفهم.

تذكر أنك تحتاج إلى التأكد من عدم وجود فروق بين البيانات التعريفية في جداول النظام المصدر وكيانات مستودع البيانات ؛ وبخلاف ذلك ، ستحدث حالات عدم التوافق عند ملء مستودع البيانات. هذه التناقضات ستجعل خلقها أكثر صعوبة تعيين البيانات لنقل البيانات من المصدر إلى الوجهة.

وضع أ إطار البيانات الوصفية في مكانه يقلل بشكل كبير الدين الفني الناتج عن الفروق في نموذج البيانات وخطوط البيانات اللاحقة. تتطلب هذه التناقضات المزيد من أنشطة الصيانة وتجعل من الصعب تحديث أنواع مختلفة من المخططات باستمرار. بدلاً من ذلك ، لقد اختبرت وأثبتت ، والأهم من ذلك ، قوالب قابلة للتكيف دون كتابة أي رمز.

يمكن بعد ذلك إنشاء البرامج النصية بناءً على نماذج البيانات المخصبة بالبيانات الوصفية وعناصر البيانات المنتشرة مباشرةً إلى قاعدة بيانات فعلية.

اجعل نموذج بيانات مؤسستك مرنًا

من المهم أن نفهم أن نمذجة البيانات ليست نشاطًا ثابتًا. في المؤسسات الحديثة ، يعد ذكاء الأعمال الدقيق وفي الوقت المناسب ضروريًا لكل قسم تقريبًا. وهذا يعني وصول المزيد من المستخدمين إلى مستودع البيانات. الآن ، مع تطور هذه المتطلبات ، سيحتاج مستهلك البيانات إلى تحديث البنية الحالية لدمج مصادر جديدة بسرعة. يجب دمج هذه القدرة في نهج التصميم الخاص بك.

يجب أن تركز نمذجة المخطط على توفير التسليمات بناءً على متطلبات العمل الحالية بدلاً من إنشاء نموذج بيانات مؤسسي معتمد قبل بدء التطوير. قد يستغرق إنشاء نموذج بيانات يمثل مجمل عمليات عملك قدرًا كبيرًا من الوقت وجهدًا تصميميًا مقدمًا. لدرجة أنه بحلول الوقت الذي يبدأ فيه التطوير فعليًا ، قد يكون المخطط قديمًا.

في نهج رشيق ، سيتم بناء نماذج البيانات وفقًا لمتطلبات ذكاء الأعمال الحالية في عدة تكرارات. لنفترض أن مدير المبيعات يريد مقارنة الأداء عبر وحدات إقليمية متعددة بعد إعادة الهيكلة التنظيمية. سيقوم فريقك ببناء نموذج بيانات ليعكس قواعد العمل هذه على وجه التحديد (المعروف أيضًا باسم سوق البيانات) والذي سيكون قادرًا على توليد الأفكار الضرورية في غضون أسبوعين. نتيجة لذلك ، ينمو مخزن البيانات بشكل تدريجي بطريقة أكثر اتساقًا. في كل مرحلة ، يتم إنتاج مخرجات جديدة يمكن للمستخدم النهائي التحقق منها على الفور للتأكد من دقتها ومدى ملاءمتها.

في الممارسة العملية ، هناك العديد من الجوانب التي يجب أن تكون في مكانها للسماح لمثل هذا النهج بالازدهار.

أولاً ، يجب أن يكون مستخدمو الأعمال قادرين على العمل بشكل وثيق مع مصمم البيانات عبر عملية التصميم لضمان جودة عالية للبيانات. هذا يعني أنه يجب تصميم المخطط بطريقة يسهل فهمها من قبل كلا الفريقين بحيث يتم تقليل أي سوء اتصال.

ثانيًا ، إذا كانت عملية التصميم تسمح للمستخدمين بالوصول إلى أنظمة المصدر ، وتحديد الجداول ذات الصلة ، وتكرارها في نموذج بيانات ، فسيتم تقليل وقت النشر بشكل كبير. الآن ، سيكون لدى مستهلكي البيانات الوظائف اللازمة لضمان توفر مجموعات البيانات ، التي يجب الإبلاغ عنها ، في نموذج البيانات النهائي. عندما تتغير هذه المتطلبات ، يمكن أيضًا إضافة جداول جديدة إلى النموذج الأولي باستخدام نفس الأساليب.

يجب أن يسمح نهج نمذجة بيانات المؤسسة الرشيق أيضًا بوضع بعض أنظمة تعيين الإصدار بحيث يمكن تتبع التحديثات على المخطط الأصلي ومراقبتها. مع وجود إصدارات متعددة في مكانها الصحيح ، يمكنك التراجع عن أي تعديلات إذا لزم الأمر.

كشف البيانات على أساس الحاجة إلى المعرفة

بيانات لي ولكن ليس لك

يسمح لك الأسلوب التكراري بأخذ نظرة أكثر تفصيلاً على البيانات المقدمة لأغراض ذكاء الأعمال.

بدلاً من الكشف عن جميع مخازن البيانات الخاصة بك في نموذج بيانات المؤسسة الذي يتم فتحه بعد ذلك للوصول إلى جميع أعضاء المؤسسة ، يمكنك تصميم مخططات مخصصة لتلبية متطلبات كل مجموعة مستخدمين. يمكن لهذه الفرق بعد ذلك قصر استفساراتهم على مجموعات البيانات ذات الصلة وبالتالي تحسين كفاءة إعداد التقارير والتحليلات. في الوقت نفسه ، من منظور أمن البيانات ، تضمن المنظمة أن المعلومات الحساسة لا تعرض إلا للمستخدمين المصرح لهم.

اعتماد مخطط لنموذج بيانات مؤسستك - نهج جغرافي

أي تصميم مخطط سوف تختار؟ لذلك عندما نتحدث عن أفضل ممارسات نمذجة البيانات ، فإن المخطط الذي يتبادر إلى الذهن هو نموذج كيمبول الأبعاد. في هذا المخطط ، يتم ترتيب الجداول في هيكل تقريبي على شكل نجمة مع جدول حقائق مركزي يوفر مقاييس عمل وجداول أبعاد مرتبطة توفر سياقًا لهذه الأرقام.

كان هذا الهيكل مهيمناً في الصناعة لأكثر من ثلاثة عقود حتى الآن ، لسبب وجيه. تم تصميم نموذج الأبعاد بشكل أساسي لأداء الاستعلام السريع ويوفر قدرًا كبيرًا من المرونة عند إضافة مصادر جديدة لأغراض إعداد التقارير. إنه أيضًا نهج موجه نحو العمليات التجارية لتصميم مستودع البيانات. بمعنى آخر ، ينظم ويعرض البيانات بطريقة يمكن للمستخدمين النهائيين فهمها بسهولة.

ومع ذلك ، هناك أسباب تجعل المستخدمين النهائيين يفكرون في بنية بديلة. على سبيل المثال ، يشتمل مخطط النجوم التقليدي على العديد من الصلات ، والتي يمكن أن تعرقل أداء الاستعلام في بعض الحالات. بدلاً من ذلك ، قد يفضلون الذهاب مع عدد قليل من الجداول العريضة (العديد من الأعمدة) لأن هذا التصميم يناسب بشكل أفضل بعض أدوات التصور. بالإضافة إلى ذلك ، سيسمح هذا النهج للمستخدمين النهائيين بتبسيط الاستعلامات لجدول واحد بدلاً من تطبيق صلات متعددة ، مما يزيد من مخاطر الأخطاء.

نموذج مفاهيمي بديل اكتسب شعبية كبيرة في السنوات الأخيرة هو بنية مخزن البيانات. ينتج عن هذا المخطط بنية مرنة تجمع بين النهج الموجه للأعمال للنموذج البعدي مع قابلية التوسع في تنسيق 3NF الذي يتبناه بيل إنمون. يتكون DV من محاور تمثل جوانب تحديد الأعمال التجارية ، ويحتوي كل منها على مفاتيح طبيعية لهذه العمليات. هناك أيضًا ارتباطات تعمل كجداول متقاطعة تحدد علاقات أطراف بأطراف بين محاور مختلفة في البنية. أخيرًا ، تحتوي الأقمار الصناعية على سمات وصفية لكل من المحاور والارتباطات.

بناءً على متطلبات BI الخاصة بك ، يمكن تفضيل أي من هذه البنى ، لكن تقنيات نمذجة البيانات التي تستخدمها يجب أن تسمح لك بتصميم ونشر أنواع مختلفة من المخططات بسهولة ، سواء كان نموذجًا بعديًا أو 3NF أو قبو بيانات.

Astera DW Builder - أداة نمذجة بيانات مؤسسية لتطوير DW

Astera DW Builder هي أداة أتمتة لمستودعات البيانات تعتمد على البيانات الوصفية والتي تعمل على تسريع مسارك إلى تطوير مستودع البيانات بشكل جذري.

يضع هذا المنتج نمذجة البيانات في صميم قدراته. السماح لك بتصميم نماذج بيانات مؤسسية بأفضل الممارسات من البداية أو إجراء هندسة عكسية لها من أنظمة المصدر الحالية بنفس السهولة من خلال أوامر السحب والإفلات البسيطة.

من هناك ، يمكنك إثراء مخططاتك بمواصفات إضافية لأشياء مثل سمات الجدول وأنواع البيانات والمفاتيح الأساسية والمفاتيح الخارجية. على مستوى نموذج الأبعاد ، يمكنك تحديد أنواع SCD للحقول الديناميكية ، والتواريخ الفعالة / انتهاء الصلاحية ، والمفاتيح البديلة لتسهيل التحميل والاستعلام بشكل فعال. يدعم ADWB أيضًا أساليب التصميم الرائدة الأخرى ، بما في ذلك خزانات البيانات ونماذج بيانات 3NF. يتم بعد ذلك تغذية هذه الأوصاف إلى محرك يقوم تلقائيًا بتصميم هذا المخطط بأكمله في قاعدة بيانات فعلية.

يعمل العمل المنطقي في عملية موحدة واحدة على زيادة تكلفة تطوير مستودع البيانات لديك ، مما يقلل أوقات النشر من شهور أو حتى سنوات إلى أيام فقط.

هذا النهج الجديد يشجع أيضا على التعاون. يمكن لأصحاب المصلحة غير التقنيين فهم التعريفات المنطقية والعناصر المرئية المستخدمة في نموذج البيانات المخصب بالبيانات الوصفية بسهولة. تمكنهم هذه المعرفة من المشاركة في عمليات التنفيذ من البداية إلى النهاية ، مما يضمن أن تكون النواتج أكثر توافقًا مع احتياجاتهم.

يعمل نموذج البيانات الآن بشكل أساسي كطبقة تجريد ، مما يسمح للمستخدمين النهائيين بعرض بيانات النظام المصدر دون الوصول إليها مباشرة. يعني هذا الفصل أنه يمكنك توفير البيانات ذات الصلة لمستخدمين محددين دون القلق بشأن مشكلات إدارة البيانات.

عندما يحين وقت تحليل البيانات المقدمة ، يمكن نشر البيانات الوصفية إلى أي منصة ذكاء الأعمال حيث يتم استخدامها لتحديد مجموعات البيانات التي سيتم استيرادها عبر نموذج البيانات.

فائدة أخرى مهمة هنا هي الحيادية للنظام الأساسي لأن نموذج بيانات المؤسسة لا يتم ترميزه بشكل ثابت لأي قاعدة بيانات محددة ، فهو يعمل كمخطط يمكن قراءته ونسخه بسهولة في أي قاعدة بيانات عبر السحابة أو في أماكن العمل.

أخيرًا ، إذا نظرت إلى الطبيعة المتقلبة بسرعة لبيانات المؤسسة ، فإن القدرة على تحديث وتعديل عناصر البيانات الوصفية في نموذج البيانات أمر ضروري ، مما يسمح لك بالتكرار بسرعة وبالتالي ضبط خطوط أنابيب التقارير بناءً على الاحتياجات الحالية لمستخدمي الأعمال.

عندما تجمع كل هذه العناصر معًا ، فإنك تتحدث عن عملية سريعة ورشيقة وفعالة في استخدام الموارد لتطوير مستودع البيانات.

هل تريد إلقاء نظرة مباشرة على الكيفية التي يمكن بها لهذه الوظائف أن تعزز تطوير مستودع البيانات الخاص بك؟ سجّل الأن لندوة الويب القادمة ، حيث سيُظهر خبراء المنتجات والمطلعين في الصناعة إمكانات نهج أفضل الممارسات هذا. يمكنك أيضا تواصل معنا مباشرة لترتيب استشارة بناءً على متطلباتك الحالية.