مكونات بنية مستودع البيانات القائمة على البيانات الوصفية

دعونا نواجه الأمر ، فإن بناء بنية مستودع بيانات تخدم جميع احتياجاتك يتطلب الكثير من التخطيط والخبرة. يجب أن تدمج بنية مستودع البيانات الحديثة بيانات النظام التشغيلي بدقة مع قواعد التنسيق والتسمية الصحيحة المعمول بها ، ويجب أن تكون مرنة بما يكفي للتكيف مع التغييرات في هيكل هذه المصادر الأساسية ويجب أن توفر أداءً محسنًا لدعم إعداد التقارير في الوقت المناسب.

In Astera منشئ DW (ADWB) ، أداة مستودع البيانات ، نحن نقدم حلاً خاليًا من التعليمات البرمجية يوفر قابلية التوسع والسرعة والمرونة لتطوير مستودع البيانات. من مصمم نموذج البيانات الموحد ، يمكنك الوصول إلى مجموعة من الوظائف المتعمقة التي توفر بشكل كبير الوقت والتكلفة التي ينطوي عليها تصميم بنية ذكاء الأعمال وتكوينها ونشرها. دعنا نلقي نظرة على كيفية تجميع مكونات بنية مستودع بيانات المؤسسة معًا:

التحكم في تطوير مستودع البيانات من طرف إلى طرف

تطوير مستودع البيانات

 

مع مصمم نموذج بيانات مستودع البيانات ، يوفر ADWB واجهة موحدة حيث يمكن استيراد بيانات النظام المصدر ، ومواءمتها مع مخطط الوجهة ، وعدم تنسيقها ، وإعدادها بشكل أكبر للترحيل إلى نموذج الأبعاد هذا هو الأمثل لإعداد التقارير والتحليلات. يسهل ADWB عملية التكامل هذه من خلال وظائف الهندسة العكسية والهندسة المتقدمة.

إنشاء نماذج بيانات DWH المخصبة لأنظمة المصدر الخاصة بك

تأخذ ميزة الهندسة العكسية لدينا مخطط قاعدة بيانات المصدر وتكرره في شكل نموذج علاقة كيان. يعرض هذا النموذج البنية المنطقية لقاعدة البيانات الأساسية ويمنحك القدرة على إثراء هذا المخطط بعدة طرق لتسهيل التحميل إلى مستودع البيانات.

يقدم ADWB تكاملات مع مجموعة من قواعد البيانات الرائدة بما في ذلك SQL Server و Oracle Database بالإضافة إلى موفري السحابة مثل Amazon و Microsoft Azure. يمكنك أيضًا استيراد نماذج البيانات مباشرةً من برنامج النمذجة مثل Erwin Data Modeler ، باستخدام نفس التقنية.

بعد استيراد كيانات قاعدة البيانات ، يمكن للمستخدمين البدء في تسوية الجداول بناءً على علاقات المفاتيح المشتركة أو إنشاء علاقات داخل النموذج إذا لم يتم تحديدها تلقائيًا أثناء عملية الهندسة العكسية.

يمكنهم أيضًا تحرير الجداول الفردية للتأكد من أن الحقول ذات الصلة واصطلاحات التسمية تنعكس في مستودع البيانات.

تصميم وتكوين مخطط مستودع البيانات الذي يناسب متطلبات إعداد التقارير الخاصة بك

مع ADWB ، يمكنك إنشاء نموذج الأبعاد باستخدام تقنيتك المفضلة ، من مخططات النجوم والثلج إلى أقبية البيانات ومخازن البيانات التشغيلية ، تتيح منصتنا لهم جميعًا. مرة أخرى ، يتيح مصمم نموذج البيانات لدينا للمستخدمين إدارة كل هذه المهام على المستوى المنطقي دون الغوص في أي من التعليمات البرمجية بأنفسهم.

إذا كان لدى المؤسسة قاعدة بيانات حالية قيد الاستخدام لأغراض تخزين البيانات ، فيمكنها إجراء هندسة عكسية لها والبدء في النمذجة أو يمكنهم إنشاء المخطط من البداية باستخدام جداول السحب والإفلات داخل مصمم نموذج البيانات.

مع أي من النهجين ، تظل العملية الأساسية كما هي. بمجرد تكوين جميع الكيانات في مخططك والتأكد من إقامة العلاقات بينها بشكل صحيح ، يمكنك تعريفها كحقائق أو أبعاد. لقد قمنا أيضًا بتضمين كيان مخصص لبعد التاريخ بحيث يمكنك تجميع مقاييس الأعمال وفقًا للفترة الزمنية الأكثر ملاءمة. من الأرباع المالية إلى مواسم العطلات ، نحن نوفر لك التغطية.

بعد ذلك ، سيتم تعيين مفاتيح بديلة (تحدد بشكل فريد كل إصدار من السجلات) ومفاتيح الأعمال (قيمة تعريف معينة في أنظمة المعاملات بناءً على منطق الأعمال الداخلي) للحقول المناسبة في منشئ التخطيط لكل كيان.

يمكنك أيضًا تخصيص كيفية تنسيق البيانات ، سواء كانت حقول معينة إلزامية أم لا ، وتحديد أي قيم افتراضية ليتم عرضها في حالة عدم ظهور قيمة لسمة معينة. هل وصل مقياس العمل إلى جدول الحقائق الخاص بك بدون بُعد مرتبط؟ لا توجد مشكلة - ما عليك سوى إعداد بُعد العنصر النائب في الكيان ذي الصلة بحيث يتم الحفاظ على التكامل المرجعي دائمًا.

مرة أخرى ، ستؤثر كل تغييرات مستوى البيانات الوصفية على كيفية إعداد بنية مستودع البيانات بعد النشر.

تتبع التغييرات تلقائيًا في بيانات النظام المصدر

أحد الجوانب الرئيسية لصيانة مستودع البيانات هو معالجة التحديثات والحذف والإضافات في جداول نظام المصدر على أساس مستمر. بعد كل شيء ، تم تصميم EDW الحديث لتوفير عرض حالي وتاريخي لبيانات المؤسسة. في DWB ، نقوم بأتمتة هذه العمليات من خلال أنواع الأبعاد المتغيرة ببطء. وهو يدعم عدة ملفات تقنيات معالجة SCD، بما في ذلك SCD النوع 1 والنوع 2 والنوع 3 والنوع 6.

في منشئ التخطيط ، يمكن للمستخدمين اختيار نوع البعد المتغير ببطء (SCD) الأكثر فاعلية لكل حقل بعد.

انشر التغييرات بسهولة من نموذج البيانات إلى مستودع البيانات

الآن بعد أن تم إعداد مخطط مستودع البيانات على مستوى البيانات الوصفية ، عليك فقط التأكد من أن قاعدة البيانات الخاصة بك جاهزة للتعبئة. يتم ذلك من خلال وظيفة الهندسة المتقدمة ، والتي تطبق جميع التغييرات الهيكلية التي تم إجراؤها في نموذج الأبعاد على قاعدة البيانات المادية الخاصة بك.

من الآن فصاعدًا ، يمكنك استخدام هذا الخيار لنشر التغييرات بسرعة من نموذج البيانات إلى قاعدة البيانات الوجهة.

تحقق من نموذج بياناتك وانشره في بضع نقرات

مع إعداد نموذج البيانات الخاص بك ، أنت الآن جاهز للنشر. لكن أولاً ، ستحتاج إلى التحقق من سلامة نموذج البيانات الخاص بك باستخدام أداة التحقق من البيانات المفيدة الخاصة بنا وتجنب ساعات من استكشاف الأخطاء وإصلاحها يدويًا.

تقوم أداتنا بإجراء فحوصات شاملة للتحقق من البيانات لتقليل هذه المهام المتكررة من خلال إبراز أي أخطاء في نموذج البيانات قبل الانتقال إلى المرحلة التالية من الإنتاج. من الحقول غير المكتملة إلى الأخطاء المرجعية ، يمكنك اكتشاف المشكلات المحتملة وتصحيحها في المرور الأول باستخدام هذه الميزة.

تسريع تحميل مستودع البيانات بشكل جذري

في ADWB ، يتم التعامل مع جميع ETL إلى مستودع البيانات بواسطة كائنات تحميل مخصصة للحقائق والأبعاد. الآن ، بدلاً من إنشاء تدفقات بيانات معقدة ، يمكنك تحديد كائن مصدر واحد أو جداول متعددة من نموذج بيانات المصدر (يمكن تحديد جداول متعددة باستخدام كائن استعلام نموذج البيانات في تدفق البيانات) وتعيينها إلى أداة تحميل. بعد ذلك ، ما عليك سوى توجيه اللودر نحو جدول حقائق أو أبعاد ذي صلة في نموذج الأبعاد الذي تم نشره واكتمال التعيين.

إذا كنت بحاجة إلى تطبيق تجميعات أو عوامل تصفية أو قواعد تحقق إضافية على بيانات الحقيقة أو الأبعاد ، فأنت تحتاج فقط إلى سحب وإسقاط التحويل المطلوب من مجموعة الأدوات وتكوينه في تدفق البيانات هذا.

بمجرد الانتهاء من التعيين من المصدر إلى مستودع البيانات ، سيقوم ADWB بتنفيذ التدفقات. يتم أخذ البيانات من المصدر ومعالجتها من خلال التحولات اللازمة قبل تحميلها في الجداول ذات الصلة في المستودع. هنا ، سيتم تعيين مفاتيح بديلة ومفاتيح عمل مناسبة ، وسيتم إجراء عمليات البحث على النحو المحدد أثناء مرحلة النمذجة. في ADWB ، أضفنا تحويلًا مخصصًا للبحث عن بُعد يقوم تلقائيًا بمراجع كل مفتاح عمل مقابل جدول SCD ذي الصلة ومطابقته بمفتاح بديل مناسب.

باستخدام حل تخزين بيانات التعريف ، ما عليك سوى إنشاء تدفق البيانات الأولي. يتم إنشاء كل الترميز المتضمن في ملء مستودع البيانات تلقائيًا بواسطة نظامنا الأساسي في وضع الضغط لأسفل (ELT) المخصص لضمان وضع الحد الأدنى من الحمل على الخادم الخاص بك أثناء هذه العمليات كثيفة الاستخدام للموارد. بمعنى آخر ، يمكنك ملء مستودع البيانات الخاص بك في دقائق.

ADWB حيادي النظام الأساسي!

يوفر ADWB موصلات جاهزة لمجموعة من وجهات قاعدة البيانات ، بحيث يمكنك إعداد بنية مستودع البيانات على النظام الأساسي الذي تختاره دون القلق بشأن مشكلات التوافق. حاليًا ، ندعم قواعد البيانات السحابية والمحلية الرائدة في الصناعة التالية:

• ندفة الثلج
• الأمازون الأحمر
• تشابك أزور التحليلات
• مستودع بيانات أوراكل المستقل
• مقاومه
• SAP مستودع البيانات
• ملقم SQL
• MariaDB ل
• فيرتيكا
• IBM DB2

الاستعلام عن بيانات مؤسستك وتصورها من أي تطبيق معتمد

يتم أيضًا توفير جميع نماذج البيانات المنشورة كـ خدمات OData. يأخذ محرك مستودع بيانات البيانات الوصفية لدينا هذه الخدمات ، وأخيرًا إلى SQL بحيث يمكن عرض الجداول أو الاستعلام عنها خارج التطبيقات والمتصفحات.

كل ما تحتاجه هو عنوان الويب الخاص بالنشر والرمز المميز لحامله لمصادقة الاتصال ، ويمكن للمستخدمين النهائيين الوصول إلى بيانات المستودع الخاصة بك عبر أي تطبيق متصل.

يمكنك أيضًا استهلاك مستودع البيانات الخاص بك مباشرة من خلال أدوات إعداد التقارير والتصور الرائدة مثل Tableau و Power BI و Domo والمزيد.

قم بتنظيم جميع عمليات ETL الخاصة بك بسهولة

بمجرد نشر مستودع البيانات الخاص بك ، ستساعدك وظيفة سير العمل لدينا على إدارة كيفية ملء الجداول المختلفة بالضبط. بمجرد أن تقرر كيفية تنظيم هذه العمليات ، سيقوم كل تدفق بيانات باسترداد البيانات من النظام المصدر عبر منطقة التدريج وترحيلها إلى نموذج البيانات ذي الأبعاد.

أتمتة التحديثات والحفاظ على توقيت بيانات مؤسستك

يمكن للمستخدمين ضبط تكرار تحميل البيانات لكل بُعد بناءً على التكرار الذي يتم به تحديث جداول نظام المصدر ذات الصلة. باستخدام ميزة جدولة المهام، يمكنك تنسيق هذه العمليات للتشغيل بشكل مستمر، على فترات زمنية محددة، أو على أساس متزايد عند إجراء تعديلات على النظام المصدر.

من خلال مستودع البيانات المستند إلى البيانات الوصفية ، لا داعي للقلق بشأن جودة الكود وكيف سيصمد أمام كميات كبيرة من البيانات. يولد حلنا جميع البرامج النصية ETL الضرورية على الواجهة الخلفية بواسطة محرك البيانات الوصفية ، وهو مدعوم بمحرك ETL ذو قوة صناعية تم تصميمه ليتناسب مع متطلباتك. أضف ميزات مراقبة وتسجيل الوظائف في الوقت الفعلي وأصبحت أخطاء التصميم الرئيسية شيئًا من الماضي.

رشيقة وقابلة للتطوير ويمكن الوصول إليها في أي مكان. قم ببناء مستودع بياناتك في غضون أيام باستخدام Astera منشئ مستودع البيانات.

هل أنت مهتم بتجربة حلنا؟ نحن نقدم لك الفرصة للمشاركة في حملة الإطلاق الحصرية لدينا الآن. انقر هنا ل قم بالتواصل، واكتشف كيف يمكنك الانضمام.