من أنظمة معلومات الإدارة المتجانسة إلى مستودعات البيانات ذات النماذج الأبعاد وبحيرات البيانات ، رأينا تغييرات هائلة في كيفية جمع المؤسسات لبياناتها ومعالجتها وتخزينها وتحليلها على مر السنين. تم توجيه كل قفزة إلى الأمام في التكنولوجيا والتقنيات بجهد واعي لتقديم قدر أكبر من المرونة وإمكانية الوصول وقابلية التوسع في تقاريرهم وتحليلاتهم.
بشكل صحيح ، في بيئة التشغيل حيث يمكن أن تتغير تفضيلات العملاء وظروف السوق السائدة على الفور ، غالبًا ما تحتاج الشركات إلى تصور البيانات والاستعلام عنها في غضون ساعات للحصول على هذه الميزة الحاسمة على المنافسين. تعتبر بنية البيانات الرشيقة ضرورية للوصول إلى هذا الهدف.
أدخل نهج يحركها البيانات الوصفية. عن طريق Astera DW Builder ، يمكنك إنشاء نماذج بيانات شاملة تدمج التصميم والمنطق وما يرتبط بهما تعيينات البيانات التي تشكل الجزء الأكبر من تطوير مستودع البيانات ثم تكرار المخطط بأكمله في سحابة أو قاعدة بيانات محلية من اختيارك. من هناك ، ستكون جاهزًا لملء مستودع البيانات الخاص بك أو استهلاكه أو تحديثه بسهولة.
في نهاية اليوم ، لديك عملية سريعة وسريعة الاستجابة مصممة لتقديم رؤى قابلة للتنفيذ وفقًا لجدولك الزمني. قارن نهجنا مع كيفية القيام بالأشياء ، ويمكنك أن ترى مزايا البيانات الوصفية والقيمة الهائلة التي يجلبها منتجنا لعملية التطوير.
لماذا يحتاج تخزين البيانات إلى التطور
النهج التقليدي
عندما نتحدث عن نهج تقليدي، نشير إلى التطوير على غرار الشلال ، والذي سيطر على هذه المساحة منذ التسعينيات. في هذه العملية ، يتم بناء مخزن البيانات في تسلسل مخطط بدقة من المراحل وهي كما يلي:
- جمع شرط: في هذه المرحلة ، سيجتمع المطورون مع محللي الأعمال والمستخدمين النهائيين الآخرين لتوثيق نوع ذكاء الأعمال المطلوب.
- تصميم: بعد دراسة المتطلبات ، سيقوم المطورون بتصميم بنية نموذجية تشمل الهيكل المادي / المنطقي وتعيينات البيانات المطلوبة للتعبئة والصيانة
- إنشاء إمكانية الوصول: يجب على المطورين بعد ذلك تحديد كيفية الوصول إلى بيانات المستودع لإعداد التقارير والتحليل. يمكن إتاحة البيانات من خلال منصة BI أمامية مثل PowerBI أو Tableau أو حل مخصص مصمم ليلائم احتياجات المؤسسة.
- الاختبار: يتضمن كلاً من جزء ضمان الجودة لتحديد وحل أي أخطاء قد تعيق قابلية الاستخدام / الأداء. بالإضافة إلى اختبار قبول المستخدم للتأكد من أن مستودع البيانات يخدم الغرض المعلن.
مستودع البيانات الخاص بك ليس مشروعًا. إنها عملية.
يتمثل أهم قيود نهج الانحدار في أن التطوير موجه نحو حل نهائي يتم تقديمه كإجابة لجميع متطلبات ذكاء الأعمال الخاصة بالمنظمة. فشل نهج التذكرة الكبيرة هذا في حساب الطبيعة المتغيرة باستمرار لهذه الاحتياجات.
- بينما يتم جمع متطلبات العمل بناءً على الاحتياجات الحالية للمستخدمين النهائيين ، يجب أن تشمل أيضًا أي سيناريوهات محتملة يمكن أن تتطور لأشهر أو حتى سنوات من الآن. بالطبع ، محاولة التنبؤ بالحالة المستقبلية لعملك أسهل قولاً من فعلها.
- نظرًا لوجود العديد من عمليات التسليم عبر عملية التطوير من محللي الأعمال إلى المطورين والمهندسين المعماريين والمتخصصين في ETL ، فهناك دائمًا احتمال أن يتم تفسير المتطلبات بشكل خاطئ. نتيجة لذلك ، يمكن أن يكون الحل النهائي بعيدًا عما تم الاتفاق عليه في البداية ، أي همس صيني
- هناك أيضًا احتمال واضح أن المستخدمين النهائيين ربما فشلوا في فهم متطلباتهم في المقام الأول. قد يكونون قد قللوا من أهمية البيانات التي يجب دمجها.
- بالطبع ، نظرًا لأن معظم هذه المشكلات يتم تحديدها فقط في مرحلة الاختبار ، فإن أي إصلاحات ستزيد من التكلفة والجداول الزمنية للمشروع.
حسنًا ، ولكن ما الذي يجعل النهج المستند إلى البيانات الوصفية أفضل؟
لنبدأ بما نعنيه بالنهج القائم على البيانات الوصفية لأن هناك العديد من الجوانب لكيفية تعاملنا مع تطوير مستودع البيانات في Astera منشئ DW.
كل شيء يبدأ بنموذج البيانات
أول شيء يجب ملاحظته هو أننا نضع نمذجة البيانات في مقدمة ووسط منتجنا. يتيح مصمم نموذج البيانات الشامل الخالي من التعليمات البرمجية للمستخدمين تصميم كل عنصر من عناصر EDW في عملية واحدة شاملة. على الفور ، يؤدي هذا إلى إزالة عمليات التسليم التسلسلية التي تميز نهج الشلال. بدلاً من ذلك ، ما لديك هو عملية تصميم سلسة يمكن أن يبدأها شخص واحد ويديرها (إذا لزم الأمر).
ربما تريد أن يكون لديك مستخدمون تقنيون وغير تقنيون يشاركون في إنشاء نماذج البيانات الخاصة بك ، وتدفق ETL في الممارسة العملية. يتم دعم هذا النوع من التعاون بشكل جوهري في منتجنا ، حيث تتم إدارة جميع العناصر المطلوبة لتصميم نموذج بيانات وتكوينها على مستوى البيانات الوصفية. سواء كنت تقوم بتصميم كيانات النظام المصدر أو تقوم بإعداد جداول الحقائق والأبعاد الفردية ، كل هذا ممكن عن طريق التفاعل مباشرة مع نموذج البيانات باستخدام المفاهيم المعرفة من قبل الأعمال.
الميزة الكبيرة هنا هي أن المستخدم النهائي يمكنه بالفعل ترجمة متطلباته المفاهيمية إلى نموذج بيانات مادي. في هذه الحالة ، يتم الاتفاق على جميع علاقات الكيانات وقواعد العمل واصطلاحات التسمية أثناء مرحلة التصميم - بدلاً من توضيحها في النهاية عند تقديم نموذج أولي بالفعل. فائدة رئيسية أخرى هي أنه عند بناء النموذج ، يمكن للمستخدم النهائي تقديم ملاحظات فورية حول أي تصحيحات يجب إجراؤها أو تعديل متطلباتهم الأولية بناءً على تصميم عمل مستودع البيانات.
والنتيجة هي نموذج بيانات نهائي يتماشى مع احتياجات المؤسسة.
العمل بشكل متكرر لتلبية متطلبات ذكاء الأعمال
في هذه المرحلة ، لنتحدث عن تطوير البرامج بتقنية أجيل وكيف يختلف عن نهج الشلال. يتم تقدير بعض القيم الأساسية في هذه المنهجية - التعاون (الذي قمنا بتغطيته) ، وإعطاء الأولوية للبرامج الوظيفية على التوثيق الدقيق ، والقدرة على العمل بسرعة وفقًا للمتطلبات المتغيرة بدلاً من خطة محددة.
النقطتان الأخيرتان مهمتان عند مناقشة كيف يعمل النهج المستند إلى البيانات الوصفية على تحسين تطوير مستودع البيانات. أشرنا إلى مدى صعوبة إنشاء وثائق دقيقة تتنبأ تمامًا بمتطلبات BI الخاصة بك بعد عام أو أكثر من اليوم ، فلماذا لا تبدأ العمل فورًا على عملية نشر أصغر تلبي احتياجات العمل الحالية.
بدافع Astera DW Builder ، يمكنك إضافة هذا النوع من السرعة إلى مستودع البيانات الخاص بك. بمجرد تحديد متطلب عاجل ، يمكن لفريقك العمل على إنشاء نموذج بيانات يعكس أنظمة التشغيل الأساسية المطلوب تحليلها ومخطط لمستودع البيانات المستخدم للاستعلام عن هذه الأنظمة. أخيرًا ، يمكن إكمال العملية في غضون أيام أو حتى ساعات. في النهاية ، لديك بنية وظيفية يمكنها البدء في تقديم رؤى قابلة للتنفيذ لتطبيقات الواجهة الأمامية على الفور.
بالطبع ، مع تطور هذه المتطلبات ، يمكنك إما تعديل النماذج الحالية عن طريق إضافة كيانات أو حقول جديدة إلى نموذج البيانات الخاص بك. أو يمكنك إنشاء نموذج بيانات جديد تمامًا لعملية تجارية مختلفة تحتاج إلى فحص متعمق. مع اتباع نهج رشيق ، ينتهي بك الأمر بعملية تطوير متكررة مثالية لبيئة أعمال سريعة التغير.
قل وداعا للترميز اليدوي
يعتبر ETL بشكل عام الجزء الأكثر استهلاكا للوقت في تطوير مستودع البيانات حيث يجب على المطورين التأكد من أن أي بيانات يتم تحميلها في EDW خالية من الازدواجية أو مشاكل جودة البيانات الأخرى وأن أوقات التحميل يتم تقليلها قدر الإمكان. عادة ، تتطلب العملية جهدًا يدويًا كبيرًا ، حيث يقوم المطورون بكتابة التعليمات البرمجية الخاصة بهم من البداية لتناسب تفاصيل كل خط أنابيب بيانات.
يأتي ADWB كاملاً مع مكون تدفق البيانات الذي يسمح لك بتصميم تعيينات مستودع البيانات من المصدر إلى مستوى البيانات الوصفية. بدءًا من مجموعة الموصلات الجاهزة التي ستمكنك من استرداد البيانات من أنظمة الملفات الثابتة وواجهات برمجة التطبيقات إلى مخططات نظام المصدر الحالية التي تم إنشاؤها باستخدام مصمم نماذج البيانات لدينا بسهولة.
هذه الوظيفة الأخيرة ضرورية لأنها تلغي الحاجة إلى سحب البيانات مباشرة من أنظمة التشغيل الخاصة بك ، والتي تستهلك موارد الحوسبة القيمة على خوادم قاعدة البيانات الهامة. كما أنه ينشئ طبقة إضافية من الأمان بين بيانات المعاملات الخاصة بك والمستخدم النهائي ، حيث يمكنك إنشاء نماذج البيانات الخاصة بك لتنعكس في الجداول والسجلات الجاهزة للتحليل. يأتي منتجنا أيضًا مع منشئ استعلام نموذج بيانات مخصص ، مما يتيح لك إنشاء جدول مصدر هرمي يحتوي على كيانات نموذج بيانات متعددة استنادًا إلى العلاقات الحالية المحددة في مرحلة النمذجة. مرة أخرى ، لا يتطلب بناء الاستعلام المعقد هذا SQL فعليًا. يتم تحديد الكيانات ذات الصلة وتكوينها على مستوى البيانات الوصفية.
لقد قام المنتج أيضًا بتغطيتك عندما يتعلق الأمر بإعداد وإثراء بيانات المصدر الخاصة بك. يوفر مُنشئ تدفق البيانات أكثر من مائة عملية تحويل مضمنة تساعدك على تنظيف أي بيانات يتم نقلها إلى مستودع البيانات الخاص بك وتصفيتها واستبدالها وتحليلها والتحقق منها. لذلك يمكنك التأكد من أن البيانات عالية الجودة والجاهزة للتحليل هي فقط التي تدخل بنية ذكاء الأعمال الخاصة بك.
يتم تسريع عملية تعيين البيانات بشكل أكبر من خلال محمل الحقائق والأبعاد المخصصة التي تقطع عمليات البحث المرحلي والأبعاد المعقدة (في السجلات التاريخية التي يتم الاحتفاظ بها) إلى تخطيط السحب والإفلات البسيط. ما عليك سوى توصيل جدول الوجهة بالكيان ذي الصلة في نموذج الأبعاد الخاص بك ، وأنت على ما يرام.
بمجرد الانتهاء من تصميم تعيينات البيانات من طرف إلى طرف ، يمكنك تنفيذ تدفق البيانات. سيقوم محرك ETL الخاص بنا بقراءة البيانات الوصفية وإنشاء الشفرة اللازمة تلقائيًا لجلب البيانات من المصدر إلى الوجهة. حتى أننا نقدم ميزات الجدولة وتنظيم سير العمل لمساعدتك على أتمتة هذه العمليات وفقًا لاحتياجاتك.
اختبار متزامن قبل النشر
مع ADWB ، قمنا ببناء اختبار مستمر في بنية النظام الأساسي. قبل نشر أي من نماذج البيانات الخاصة بك ، سيتعين عليك التحقق من التصميم للتأكد من تكوين كل كيان بشكل صحيح وعدم وجود حقول فارغة أو قيم غير متسقة. مع إجراء الاختبار المتزامن ، يمكنك التعرف بسرعة على الأخطاء في جهازك وتصحيحها قبل أن تتسبب في حدوث مشكلات للمستخدم النهائي.
وبالمثل ، قمنا بتنفيذ التسجيل في الوقت الفعلي وإشعارات الأخطاء أثناء تنفيذ تدفق البيانات ، لذلك يمكن رصد أي مشاكل في عمليات ETL الخاصة بك داخل البيانات الوصفية. والنتيجة هي بنية تم اختبارها ضد الإجهاد تم إنشاؤها للتعامل مع أكثر حالات استخدام ذكاء الأعمال تعقيدًا بسهولة.
انسخ المخطط الخاص بك في أي قاعدة بيانات رائدة.
نظرًا لأن نماذج البيانات مبنية على مستوى البيانات الوصفية ، فهي غير مشفرة بشكل ثابت للتكامل مع أي نظام أساسي معين. بشكل أساسي ، ما قمت بإنشائه هو مخطط حيادي للنظام الأساسي يمكن نسخه بسهولة في أي قاعدة بيانات وجهة. لتسهيل الأمور ، نقدم الدعم للقيادة المحلية و مستودعات البيانات السحابية، لذلك يمكنك اختيار بناء مستودع البيانات الخاص بك على البنية التحتية التي تناسب احتياجات ذكاء الأعمال الخاصة بك على أفضل وجه.
تتطلع إلى الاستفادة من قابلية التوسع والأداء الأمازون الأحمر، وإنشاء اتصال بقاعدة البيانات ، وإعادة توجيه المهندس. هل تريد الاحتفاظ بتقاريرك في المنزل؟ حدد موفرًا محليًا مثل SQL Server أو Oracle Database - الخيار لك.
قارن هذه العملية بالتطبيقات باهظة الثمن المفضلة في الشلال ، حيث تتطلب أي تحديثات أو تعديلات جولة أخرى من التطوير الشامل ، ومن الواضح الطريقة الأكثر ملاءمة لذكاء الأعمال الحديث.
تجربة تخزين البيانات القائمة على البيانات الوصفية مع Astera منشئ DW
هل ترغب في الاستفادة من حل تخزين البيانات الجديد والمثير لدينا؟ الاتصال بالشركة مع خبرائنا لمعرفة المزيد حول كيف يمكن أن تساعدك البنية القائمة على البيانات الوصفية في الحصول على النتائج التي تحتاجها أو من أجل عرض شخصي لحالة الاستخدام المحددة الخاصة بك.
المؤلف:
- عدنان سامي خان