المدونة

الرئيسية / المدونة / تحسين أداء تحسين الضغط لأسفل في Centerprise

جدول المحتويات
الآلي, لا كود مكدس البيانات

تعلم كيف Astera يمكن لـ Data Stack تبسيط وتبسيط إدارة بيانات مؤسستك.

تحسين اداء تحسين Pushdown في Centerprise

28 سبتمبر، 2023

أدى الاعتماد الواسع النطاق لقواعد البيانات السحابية وأنظمة الإبلاغ عن المعاملات عبر المشهد التجاري إلى نمو كبير في حجم وتنوع البيانات التي تنتقل عبر المؤسسات. ونتيجة لذلك ، يتعين على المحللين الذين كلفوا ذات مرة بأداء ETL أو ELT على الآلاف من السجلات الآن أن يتعاملوا مع مجموعات البيانات التي يبلغ عددها الملايين أو حتى المليارات.

في هذه البيئة ، تعرضت التكنولوجيا المسؤولة عن معالجة البيانات وتقديم المعلومات التجارية لصناع القرار المعنيين لضغوط متجددة. يتم تكليف أدوات ETL التقليدية بمعالجة عمليات البيانات المتزايدة التعقيد وذات الحجم الكبير بينما يتم دفع خوادم التحويل إلى أقصى حد.

تحسين الضغط

بينما يمكن لـ ELT تقليل هذا العبء بشكل ملحوظ من خلال إلغاء تحميل معالجة البيانات كثيفة الموارد إلى RDBMS القائمة على السحابة القابلة للتطوير ، لا يمكن أن يحل تحسين الدفع لأسفل محل ETL تمامًا. ستظل أي تدفقات بيانات تحتوي على مصادر ووجهات غير متعلقة بقاعدة البيانات ، أو تحويلات غير مدعومة ، تتطلب الاستخراج إلى خادم وسيط. بالإضافة إلى ذلك ، قد تعمل بعض العمليات بشكل أكثر كفاءة عند دفعها من خلال أداة ETL مصممة لهذا الغرض.

في مجلة الإصدار الأخير من Centerprise، نهدف إلى تزويد المستخدمين بالقدرة على تخصيص ودمج كليهما ETL وعمليات ELT من أجل ضمان الأداء الأمثل حتى في تدفقات البيانات الأكثر تعقيدًا. العديد من التحسينات التي تظهر في هذا الإصدار هي نتيجة مباشرة للتعليقات العملية التي تم تلقيها من العملاء الذين ناضلوا لتحقيق الفوائد الكاملة من التحسين الأمثل في عملياتهم التجارية. فيما يلي بعض التغييرات الرئيسية التي قمنا بها Centerprise 8.0

الحد من أنواع الذاكرة

كتحويل على مستوى الكتلة ، تتطلب الأنواع تخزين جميع مجموعات بيانات الإدخال مؤقتًا في الذاكرة قبل أن يتم ترتيبها وفقًا لمعايير المستخدم. لا تقتصر هذه العمليات على تحويل الفرز فقط ، حيث توفر التحويلات الأخرى مثل التجميعات والصلات أيضًا خيار فرز البيانات الواردة قبل معالجتها بشكل أكبر. نتيجة لذلك ، قد يتضمن تدفق البيانات عدة حالات من هذا التحول المكلف الذي يحدث عبر تدفق البيانات ، والذي سيضيف بالطبع بشكل كبير إلى وقت تشغيله.

لهذا السبب ، نوصي بفرز مجموعات بيانات الإدخال في المصدر قبل استيرادها إلى Centerprise الخادم عن طريق تشغيل هذا التحويل في وضع تحسين الضغط لأسفل. علاوة على ذلك ، يجب أن يتم تعطيل هذا الإعداد لأي تحويلات مستبعدة من عمليات الدفع والتي توفر خيارات لفرز البيانات لضمان أقصى قدر من الكفاءة في خط تدفق البيانات.

التحقق من وتصحيح التعبيرات المنطقية غير الصالحة

في وضع تحسين الضغط لأسفل ، Centerprise سيتم تلقائيًا تحويل القيم المنطقية إلى أعداد صحيحة (مثل 1 و 0 للمخرجات الحقيقية أو الخاطئة) لتحسين وظائف عبارات SELECT لقاعدة البيانات. ومع ذلك ، يمكن أن تؤدي هذه الميزة إلى مشكلات عند استخدام التعبيرات المنطقية في تدفق البيانات. تتطلب عبارات WHERE عوامل تشغيل إضافية للتنفيذ بشكل صحيح ، أي IIF (1 = 1، 1، 0). ولكن في وضع تحسين الضغط ، يتم تحويل التعبيرات المنطقية على النحو التالي: IIF (1,1,0،XNUMX،XNUMX). على الرغم من صحة هذا البيان منطقيًا ، إلا أنه سيؤدي إلى حدوث أخطاء عند استخدام التعبيرات المنطقية المتداخلة.

على سبيل المثال ، عندما يتم تحويل جملة IIF الداخلية في التعبير التالي:

IIF (IIF (CHARINDEX ('Accrual'، [DimClaim]. [ClaimSource])> 0، 1، 0)، 'Accrual'، [DimClaim]. [ClaimSource])

ينتج ناتجًا عن:

IIF (1، "Accrual"، [DimClaim]. [ClaimSource])

وهي عبارة غير صحيحة من الناحية النحوية.

في مثل هذه الحالات ، سيحتاج المستخدم إلى تصحيح التعبير بأنفسه عن طريق إضافة عامل 1 = 1 يدويًا في تدفق البيانات. يمكن تغيير المثال أعلاه إلى عبارة CONTAINS كما يلي:

إذا كان (يحتوي على ("الاستحقاق" ، [DimClaim]. [ClaimSource])) = صحيح ، "الاستحقاق" ، [DimClaim]. [ClaimSource])

In Centerprise 8 ، لقد سهلنا مشاركة التعبيرات بين عبارات SELECT و WHERE من خلال إضافة دعم للمتغيرات (الكائنات القابلة لإعادة الاستخدام) في وضع تحسين الضغط لأسفل.

استبعاد الكائنات من تحسين Pushdown حيثما كان ذلك ممكنًا

وبدلاً من ذلك ، يمكن للمستخدم استثناء التعبيرات من وضع الضغط لأسفل تمامًا باستخدام "استبعاد من Pushdown" ينسب. هذه الميزة مفيدة أيضًا لتشغيل الكائنات التي لا يمكن تعيينها بكفاءة لقاعدة البيانات المصدر أو الهدف ، أو تلك التي تؤدي بشكل مختلف في قاعدة البيانات.

على سبيل المثال ، عندما تؤدي التعبيرات إلى إخراج X = Y ، حيث يكون كل من X و Y قيمًا خالية ، Centerprise قادر على تقييم التعبيرات على أنها صحيحة. ومع ذلك ، إذا تم تضمين هذه القيم في جملة WHERE في قاعدة البيانات ، فسيتم تقييمها دائمًا على أنها خاطئة. في هذه الحالة ، سيكون من الأفضل تنفيذ التعبير من خلال أداة ETL بدلاً من ELT.

في الحالات السابقة ، تمكنا من زيادة أوقات تشغيل تدفق بيانات العميل بمقدار 30 دقيقة أو أكثر من خلال الاستبعاد الحكيم للأشياء والتعبيرات استنادًا إلى ملاءمتها للخفض.

تحقق من التحولات المدعومة لتحسين الضغط

يمكن أيضًا تحويل بعض تعبيرات if / else إلى تحويلات تحويل مدعومة الآن في Centerprise. في قاعدة البيانات ، تعمل هذه الوظيفة بشكل مشابه لعبارة CASE ويمكن استخدامها لتبسيط التعبيرات المعقدة. أحدث إصدارات Centerprise يتضمن أيضًا دعمًا لحقول التخطيط التي تفتقر إلى منفذ إدخال بالإضافة إلى عدد من وظائف ETL الأخرى التي يمكن الآن تكرارها بشكل موثوق في قواعد البيانات المدعومة.

للحصول على قائمة كاملة بالتحويلات المدعومة حاليًا في Astera Centerprise وضع الضغط ، الرجوع إلى دليلنا الشامل حول هذا الموضوع.

تحسين أداء تدفق البيانات باستخدام تلميحات SQL اليدوية

إذا شعر المستخدم أن مُحسِّن قاعدة البيانات يقوم بتنفيذ تدفق البيانات الخاص به بطريقة أقل من المثلى ، فيمكنه استخدام تلميحات المُحسِّن لتعديل خطة التنفيذ. في Centerprise، يمكن إدخال هذه التلميحات في علامة تبويب المجدول لتدفق البيانات ، ونتيجة لذلك سيتم تطبيق تلميحات على جميع الاستعلامات والمصادر في التدفق.

في حالة استخدام سابقة ، كان عميلنا قادرًا على استخدام تلميحات للمحسن لتمكين درجات إضافية من التوازي مع تدفق البيانات ، وبالتالي ضمان زيادة موارد الخادم إلى أقصى حد لتنفيذ عملية ELT كثيفة الموارد يتم فيها تجميع العديد من مصادر البيانات المختلفة في استعلام واحد.

سيكون مُحسِّن تلميح الاستعلام مفيدًا أيضًا أثناء عملية تحميل مستودع البيانات عندما يتم ضم جداول الأبعاد من مصادر مختلفة إلى جدول حقائق في خادم التدريج. في هذه الحالات ، يمكن للمستخدم الاستفادة من تلميحات SQL لتحديد ما يتم تنظيمه وكيفية الأداء الأمثل.

تحكم في معالجة بيانات مؤسستك

يجب أن يمنح هذا المزيج من الميزات والتحسينات الإضافية مستخدمينا القدرة على التحكم في الكفاءة والأداء العام لعمليات ETL و ELT الخاصة بهم في كل خطوة من رحلة البيانات الخاصة بهم. سواء كانوا يقومون بتصميم مستودعات بيانات مؤسسية جديدة أو ترحيل سجلاتهم إلى بنية تحتية لقاعدة بيانات سحابية ، Centerpriseيمكن أن تكون إمكانات الدفع لأسفل ضرورية.

لمزيد من المعلومات حول الكيفية التي يمكن أن يفيد بها وضع تحسين الضغط لأسفل أعمالك ، راجع المدونات الأخرى في هذه السلسلة أو حدد موعدًا استشارة شخصية مع فريق المبيعات لدينا اليوم.

ربما يعجبك أيضا
ما هو كتالوج البيانات؟ الميزات وأفضل الممارسات والفوائد
مخطط النجمة مقابل. مخطط ندفة الثلج: 4 اختلافات رئيسية
كيفية تحميل البيانات من AWS S3 إلى Snowflake
مع مراعاة Astera لتلبية احتياجات إدارة البيانات الخاصة بك؟

أنشئ اتصالاً خاليًا من التعليمات البرمجية مع تطبيقات مؤسستك وقواعد البيانات والتطبيقات السحابية لدمج جميع بياناتك.

دعونا نتواصل الآن!
يتيح الاتصال