وضع تحسين الضغط لأسفل في Astera Centerprise

By |2020-04-09T14:55:26+00:009 أبريل، 2020|

عملية ELT تكمل نهج ETL التقليدي لتحسين الأداء ونتائج رشيقة

المُقدّمة

ETL (استخراج وتحويل وتحميل) و ELT (استخراج وتحميل وتحويل) طريقتان لمعالجة البيانات التي غالبًا ما يتم الخلط بينها وبين البدائل. يعتمد الموقف الذي يتم فيه استخدام أي من النهجين على عوامل متعددة مثل نوع قواعد البيانات المصدر والهدف ، وقوة معالجة خادم قاعدة البيانات ، وحجم البيانات ، وتعقيد التحولات. في النهاية ، يتمثل الهدف في تمكين المستخدمين من نقل البيانات بكميات كبيرة بكفاءة.

يتم تمييز ELT عن ETL بناءً على موقع معالجة التحويل. في عملية ETL ، يتم تحويل البيانات في منطقة الترحيل التي يتم وضعها عادةً بين أنظمة المصدر والهدف (مستودع البيانات). على العكس ، في عملية ELT تحدث التحويلات داخل قاعدة البيانات المستهدفة. يقوم مشغل قاعدة البيانات الذي يقوم بتشغيل نظام إدارة قواعد البيانات (DBMS) بالتحويلات في عملية ELT بينما تحدث التحويلات على جهاز ثالث في عملية ETL. عادةً ما يتم إجراء التحويلات في ETL على خادم قاعدة بيانات علائقي منفصل ماديًا ومنطقيًا عن أنظمة المصدر والهدف. يتم ذلك لتقليل تأثير نشاط ETL الدوري على أنظمة المصدر والهدف.

ETL - نهج الاستخراج والتحويل والتحميل

تقوم الشركات بجمع ودمج البيانات من مصادر متعددة ، مما يؤدي إلى عدم التجانس في منصات البيانات وتنسيقاتها. يجلب برنامج ETL البيانات المصدر إلى الخادم للتحويل ويكتب البيانات المحولة إلى الهدف. يقوم بإجراء فحوصات السلامة على البيانات الواردة أيضًا.

تعد أداة ETL جزءًا مهمًا من بناء مستودع بيانات. يمكن استخدامه لاستخراج المعلومات ذات الصلة فقط ، وتحليلها والتحقق من صحتها لتناسب التنسيق القياسي للأعمال ، وأخيرًا تحميل البيانات المنظمة والمنظفة في مستودع البيانات. نظرًا لأن البيانات التي تم تحميلها في مستودع البيانات قد تم تنظيفها وتحويلها بالفعل ، يصبح من السهل على مستخدمي الأعمال تحليلها.

ELT - نهج الاستخراج والتحميل والتحويل

في حالات معينة ، بدلاً من نقل كميات من البيانات إلى نظام برمجيات ETL ، يمكن للمستخدمين زيادة الأداء إلى أقصى حد من خلال وضع جداول التدريج داخل قاعدة البيانات الوجهة. تتمثل الفائدة الأساسية لمنهج ELT في أنها فعالة من حيث الوقت لأنها تقوم بتحميل البيانات مباشرة على الوجهة وتفويض المعالجة إلى DBMS. هذا يقلل من الوقت بين الاستخراج وعملية التحميل والبيانات متاحة بسهولة للمستخدم النهائي نتيجة لذلك. ومع ذلك ، نظرًا لأنه يتم تحميل البيانات غير المحولة على الأنظمة المستهدفة ، فإن الواجهة المرئية الأنيقة هي تكلفة الفرصة البديلة لتقليل وقت تسليم البيانات. يقول محلل غارتنر مي يانغ سيلفاج:ELT مناسب في المقام الأول لأحمال العمل ذات التحول المحدود والتنظيف".

وضع تحسين الضغط لأسفل

ما هو وضع تحسين الضغط لأسفل؟

وضع Pushdown في Astera Centerprise يمكّن المستخدمين من اختيار مكان معالجة البيانات عن طريق الضغط على منطق التحويل إلى قاعدة البيانات المصدر أو الهدف عند تواجدهم على نفس الخادم. هذا يلغي الحركة غير الضرورية للبيانات ، ويقلل من وقت استجابة الشبكة من خلال تقديم نتائج رشيقة وتحسين الأداء العام.

كيف يعمل تحسين Pushdown؟

إن الحاجة إلى استخراج وترحيل كميات كبيرة من البيانات ، من أنظمة المصدر إلى خادم جهة خارجية للتحويلات ، تجعل المستخدمين يفقدون وقتًا ثمينًا. عندما تكون قاعدة البيانات المصدر وقاعدة البيانات الهدف على نفس الخادم ، يمكن للمستخدمين توفير الوقت عن طريق تجنب حركة البيانات غير الضرورية. يؤدي تشغيل مهمة في وضع الضغط لأسفل إلى نقل منطق التحويل إلى قاعدة البيانات المصدر أو الهدف. بدلا من تشغيل
منطق التحويل في الأجزاء عن طريق استخراج المعلومات من المصدر ، وتطبيق التحويلات ثم تحميلها على الوجهة ، يتم إصدار الأوامر وتنفيذها من خلال استعلامات SQL المدمجة التي يتم إنشاؤها تلقائيًا. عندما تحتاج الشركات إلى معالجة بيانات مجمعة ، فإن هذا النهج يعطي فوائد أداء كبيرة من خلال القضاء على حركات البيانات بين قاعدة البيانات وخادم ETL.

أنواع وضع أمثلية Pushdown

هناك نوعان من أوضاع تحسين الضغط لأسفل:

  1. وضع تحسين الضغط الكامل
  2. وضع تحسين الضغط الجزئي

Astera Centerpriseتقرر الخوارزمية الذكية ما إذا كان سيتم تحسين أداء الوظيفة عن طريق تشغيلها في تحسين تخفيض الضغط الجزئي
الوضع أو وضع التحسين الكامل لأسفل. يوضح الشكل 3-4 استعلامات SQL للمهام التي يتم تنفيذها في أوضاع التحسين الكاملة والكامل لأسفل.

الجزء المميز في الشكل 3 هو جزء العمل الذي يتم تنفيذه في وضع الضغط لأسفل. يدفع هذا المثال جزئياً فقط إلى أسفل منطق التحويل (التحويل الكلي) إلى قاعدة البيانات المصدر ، لذلك يشار إليه باسم التراجع الجزئي.

على العكس ، يشير التراجع الكامل إلى تشغيل وظيفة في وضع التراجع من البداية إلى النهاية. يوضح الشكل 4 مثالاً على وظيفة تم تنفيذها في دفع كامل واسطة.

الشيء المهم الذي يجب ملاحظته هنا هو أن استعلامات SQL المقابلة (في كلا الوضعين) يتم إنشاؤها تلقائيًا دون الحاجة إلى برمجة نصية أو ترميز.

تحقق من ميزة مهمة Pushdown في Astera Centerprise

لا يمكن تشغيل كل وظيفة في وضع الضغط لأسفل. على سبيل المثال ، إذا لم تكن وجهتا المصدر والهدف في نفس قاعدة البيانات الارتباطية ، فلا يمكن إلغاء خطوة استخراج البيانات ونقلها. علاوة على ذلك ، لا يمكن دفع بعض منطق التحويل مثل "بحث" ، تحليل الاسم والعنوان أو معالجة السلسلة المعقدة.

تحقق من ميزة مهمة الضغط لأسفل في Astera Centerprise يحدد منطق التحويل وعبارات SQL التي يمكن دفعها إلى قاعدة بيانات المصدر أو الوجهة.

 

موفري قواعد البيانات المدعومة في Astera وضع تحسين الضغط لأسفل

In Astera Centerprise، يتم دعم وضع تحسين الضغط لأسفل للمزودين التاليين:

1. MSSQL
2. Postgres
3. وحي
4. SQL
5. MySQL (الإصدار 7.3)

خلاصة

بدلاً من مقارنة ETL و ELT (تحسين الضغط لأسفل) كنهج مختلفة لتحقيق نفس النتائج ، انظر إليها كأدوات مختلفة مصممة لتناسب احتياجات الأعمال المختلفة. كل من النهجين لها فوائدها وقيودها ، لذا فإن استخدامها كأدوات مكملة بدلاً من البدائل سيؤدي إلى أفضل النتائج لعملك. Astera Centerprise يقدم كلتا القدرات. يمكن للمستخدمين تحديد النهج من خلال النظر في العوامل التي تؤثر على معالجة البيانات بشكل عام.

تريد تجربة ميزة تحسين الضغط لأسفل في Astera Centerprise? تنزيل نسخة تجريبية مجانية لدمج كميات هائلة من البيانات بسرعات لا تصدق.