لعقود من الزمن ، استخدمت المنظمات استخراج وتحويل وتحميل (إي تي إل) لدمج البيانات المخزنة عبر أنظمة المصدر المختلفة. ومع ذلك ، فإن زيادة حجم البيانات وتنوعها وسرعتها التي يقدمها عصر البيانات الضخمة تتطلب نهجًا مختلفًا. يميل العديد من مهندسي البيانات الآن نحو الاستخراج والتحميل والتحويل (ELT) ، وهو أكثر ملاءمة لمكدس البيانات الحديث.

تناقش المدونة كيفية عمل ELT، وتطور ETL إلى ELT، ولماذا أصبح الأخير نهجًا أكثر شيوعًا، وما إذا كان يمكن للنهجين التعايش.

ما هو ELT؟

استخراج وتحميل وتحويل (ELT) هو نظام حديث تكامل البيانات عملية تتضمن استخراج البيانات من مصادر مختلفة وتحميلها في نظام مستهدف ثم تحويلها داخل تلك البيئة. تتضمن خطوة التحويل تنظيف البيانات وهيكلتها وتحسينها للتحليل وإعداد التقارير. تستفيد ELT من قوة معالجة مستودعات البيانات الحديثة وبحيرات البيانات، مما يسمح بالتعامل بكفاءة مع كميات كبيرة من البيانات المنظمة وغير المنظمة. يستخدم هذا النهج بشكل شائع في البنيات القائمة على السحابة، مما يتيح للمؤسسات تخزين البيانات الخام وتطبيق التحويلات حسب الحاجة.

كيف تعمل ELT

يتبع ELT عملية مكونة من ثلاث خطوات تعمل على تحسين نقل البيانات ومعالجتها داخل البيئات السحابية الأصلية.

1. استخراج

تتضمن الخطوة الأولى استرداد البيانات الخام من مصادر متعددة، مثل:

• قواعد البيانات العلائقية (على سبيل المثال، MySQL، PostgreSQL، SQL Server)
• واجهات برمجة التطبيقات وخدمات الويب (على سبيل المثال، REST، SOAP)
• ملفات مسطحة (على سبيل المثال، CSV، JSON، XML)
• مصادر التدفق (على سبيل المثال، Kafka، وأجهزة استشعار إنترنت الأشياء، وسجلات الأحداث)

يتم استخراج هذه البيانات بتنسيقها الأصلي وغالبًا ما تكون غير منظمة أو شبه منظمة. يمكن تنفيذ عملية الاستخراج على دفعات أو في تدفقات في الوقت الفعلي، حسب حالة الاستخدام.

2. تحميل

بمجرد استخراج البيانات الخام، يتم تحميلها مباشرة إلى نظام تخزين، مثل:

• مستودعات البيانات السحابية (على سبيل المثال، Snowflake، وGoogle BigQuery، وAmazon Redshift)
• بحيرات البيانات (على سبيل المثال، Amazon S3، وAzure Data Lake، وGoogle Cloud Storage)
• أطر المعالجة الموزعة (على سبيل المثال، Apache Hadoop، Apache Spark)

الهدف من هذه الخطوة هو نقل البيانات بسرعة دون تعديلها، مما يتيح استيعابها وتخزينها بشكل أسرع. تستخدم العديد من منصات ELT تقنيات التحميل المتوازي لتحسين الأداء وتقليل الاختناقات.

3. التحويل

بعد التحميل، تتم معالجة البيانات لجعلها قابلة للاستخدام في إعداد التقارير والتحليلات واتخاذ القرارات. قد تتضمن هذه الخطوة مهام مثل تنظيم البيانات وتنظيفها وتوحيدها وإثرائها. يسمح ELT بإجراء التحويلات باستخدام مجموعة متنوعة من الأدوات، بما في ذلك وظائف قاعدة البيانات المضمنة واستعلامات SQL وحلول معالجة البيانات بدون كود أو منخفضة الكود. نظرًا لأن المستودعات السحابية الحديثة توفر قوة حوسبة عند الطلب، يمكن تنفيذ التحويلات بكفاءة على نطاق واسع دون التأثير على سرعات الاستخراج والتحميل.

ELT مقابل ETL: ما هو الفرق؟

تتضمن كل من ETL و ELT ثلاث خطوات: استخلاص, تحول، والتحميل. والفرق الأساسي بينهما يكمن في متى و اين يحدث تحويل البيانات.

• تحويل البيانات ETL قبل جار التحميل: في هذا النهج، يتم استخراج البيانات من المصادر ومعالجتها في منطقة مؤقتة ثم تحميلها في النظام المستهدف. وهذا يضمن تخزين البيانات المنظمة والمنظفة والمحسنة فقط، مما يجعل ETL مثاليًا لمستودعات البيانات التقليدية التي تتطلب حوكمة صارمة للبيانات ومخططات محددة مسبقًا. نظرًا لأن التحويلات تحدث خارج النظام المستهدف، فإن ETL غالبًا ما تتطلب موارد معالجة مخصصة ووقتًا إضافيًا لإعداد البيانات.

• ELT يحول البيانات بعد جار التحميل: هنا، يتم تحميل البيانات الخام أولاً إلى النظام المستهدف (عادةً مستودع بيانات سحابي أو بحيرة بيانات) وتحويلها حسب الحاجة. وهذا يلغي الحاجة إلى منطقة تخزين خارجية، مما يحول عبء العمل الحسابي إلى النظام المستهدف. تُستخدم ELT عادةً في هياكل البيانات الحديثة التي تتعامل مع أحجام كبيرة من البيانات المنظمة وشبه المنظمة وغير المنظمة، مما يسمح بمعالجة بيانات أكثر مرونة وتحليلات في الوقت الفعلي.

معالجة البيانات بشكل أسرع وأذكى مع ELT

اتصل بأكثر من 100 مصدر، وقم بأتمتة نقل البيانات، واستفد من المعالجة السحابية الأصلية للتحولات القابلة للتطوير. قلل من زمن الوصول، وعزز الكفاءة، وافتح العنان للرؤى في الوقت الفعلي - كل هذا بدون ترميز!

ابدأ الإصدار التجريبي المجاني

ELT في عصر السحابة

لقد أدى ظهور مصادر البيانات غير التقليدية - أجهزة إنترنت الأشياء، ووسائل التواصل الاجتماعي، وصور الأقمار الصناعية - إلى انفجار في حجم البيانات وتنوعها وسرعتها. للتعامل مع هذا الارتفاع، تتجه الشركات إلى مستودعات البيانات السحابية (على سبيل المثال، Snowflake، Amazon Redshift، Google BigQuery) ومنصات التخزين السحابي (على سبيل المثال، الأمازون S3, تخزين Azure Blob, جوجل سحابة التخزين) لإدارة البيانات القابلة للتطوير وعالية الأداء.

في بيئة السحابة هذه، أصبح ELT (الاستخراج والتحميل والتحويل) هو النهج المفضل لمعالجة البيانات.

وهو مناسب بشكل خاص للبيئات السحابية لأنه:

• مُحسّن للمعالجة داخل المنصة: على عكس قواعد البيانات التقليدية، يمكن لمستودعات السحابة الحديثة تنفيذ عمليات التحويل بكفاءة على نطاق واسع. تستفيد ELT من ذلك من خلال تحميل البيانات الخام أولاً وتطبيق عمليات التحويل داخل المستودع.
• استيعاب البيانات بشكل أسرع وأكثر قابلية للتطوير: تعمل ELT على تسريع عملية التحميل من خلال إزالة اختناقات التحويل، مما يجعل من الأسهل استيعاب البيانات الضخمة أو في الوقت الفعلي أو غير المنظمة.
• إن الاحتفاظ بالبيانات الخام يدعم المرونة: نظرًا لأن ELT يقوم بتحميل البيانات في شكلها الأصلي، يمكن للمؤسسات تحويلها بطرق متعددة لحالات الاستخدام التحليلية المختلفة ونماذج الذكاء الاصطناعي ومتطلبات الامتثال.

فوائد تدريس اللغة الإنجليزية

• تحسين الأداء والكفاءة – تستخدم مستودعات البيانات السحابية المعالجة المتوازية والحوسبة الموزعة للتعامل مع التحولات، مما يسمح بأوقات تنفيذ أسرع واستخدام أفضل للموارد مقارنة بسير عمل ETL التقليدية.

• مُحسَّن للهندسة المعمارية للبيانات الحديثة – تتوافق ELT مع هياكل بحيرة البيانات الحديثة، مما يسمح للشركات بتخزين ومعالجة تنسيقات البيانات المتنوعة بكفاءة مع دعم التحليلات وإعداد التقارير في الوقت الفعلي.

• تقليل زمن انتقال البيانات – تتيح تقنية ELT إمكانية توافر البيانات في الوقت الفعلي أو في الوقت شبه الفعلي من خلال تحميلها أولاً وتحويلها داخل منصة السحابة. وهذا يضمن قدرة الشركات على التصرف بناءً على أحدث المعلومات بدلاً من انتظار اكتمال عمليات ETL على دفعات.

• استراتيجية بيانات مرنة ومستقبلية – تقوم ELT بتخزين البيانات الخام قبل التحويل، مما يسمح للشركات بإعادة معالجة البيانات وتكييفها مع ظهور متطلبات تحليلية أو لوائح أو حالات استخدام جديدة، مما يضمن المرونة على المدى الطويل وتعظيم قيمة البيانات.

• إمكانية وصول أكبر – يمكن لمستخدمي الأعمال والمحللين التفاعل بشكل مباشر مع البيانات الخام في المستودعات السحابية، مما يتيح استكشاف البيانات وتحليلها ذاتيًا دون الاعتماد على فرق تكنولوجيا المعلومات لمجموعات البيانات المحولة مسبقًا.

• تكاليف تشغيل أقل – نظرًا لأن ELT تستخدم موارد الحوسبة السحابية للتحولات، يمكن للشركات تقليل تكاليف البنية التحتية من خلال القضاء على الحاجة إلى خوادم ETL المنفصلة وتقليل حركة البيانات، مما يؤدي إلى انخفاض النفقات التشغيلية.

ETL و ELT- بدائل أم مكملات؟

بينما تعتبر ETL و ELT بدائل ، فإن هذه الأساليب لا تستبعد بعضها البعض. في حين أن هذا الأخير يحل العديد من مشاكل ETL ، إلا أن دبلجة هذا البديل قد لا يكون دقيقًا. كلا النهجين لهما مزايا وعيوب ، وتعتمد فعاليتهما على نوع أصول البيانات ومتطلبات العمل.

على سبيل المثال ، إذا كنت بحاجة إلى دمج البيانات مع معلومات العمل الحساسة ، فيجب أن تكون ETL هي نهج تكامل البيانات المفضل لديك لأنها تتيح لك هيكلة البيانات وتحويلها ومعالجتها وتأمينها وفقًا للمتطلبات قبل تحميلها إلى الوجهة المستهدفة. من ناحية أخرى ، عندما تعمل بأحجام كبيرة من البيانات القادمة من مصادر متعددة ، حيث يمكن لأي تباطؤ أن يؤثر سلبًا على أداء الأعمال ، يجب عليك اختيار ELT.

لذلك ، من الآمن أن نقول إن ELT و ETL يمكن أن يتعايشا وهما عنصران حيويان للنجاح التنظيمي. بدلاً من النظر إلى الاثنين على أنهما بدائل ، يجب أن تنظر إليهما على أنهما نظراء للاستفادة من ذكاء الأعمال الضروري للنمو.

ميزات للبحث عنها في أدوات ELT

من المهم اختيار أداة ELT المناسبة لمؤسستك. فيما يلي بعض الميزات التي يجب أن تضعها في اعتبارك قبل أن تستثمر في واحدة:

1. بنية خالية من التعليمات البرمجية

يجب أن توفر أداة ELT نفس المستوى من قابلية الاستخدام لكل من المطورين ومستخدمي الأعمال دون الحاجة إلى معرفة تقنية متقدمة. تقلل أداة ELT بدون رمز من الاعتماد على فريق تكنولوجيا المعلومات وتوفر سهولة الاستخدام والوصول إلى المعلومات ، وبالتالي تمكين المؤسسات من الاستفادة من الرؤى القيمة بسرعة وكفاءة.

2. أتمتة

تقوم مؤسسة نموذجية بمعالجة كميات كبيرة من البيانات يوميًا. يؤدي أداء مهام مماثلة بشكل متكرر إلى إهدار الوقت والموارد والجهد. يجب أن تتمتع أداة ELT بقدرات التشغيل الآلي والتنسيق بحيث يمكنك جدولة مهام التكامل والتحويل بسهولة ، سواء كان ذلك تدفق بيانات بسيطًا أو سير عمل معقدًا.

3. الاتصال بمصادر بيانات متعددة

تصبح وظائف ELT أسهل عندما توفر الأداة اتصالاً محليًا بمصادر ووجهات مختلفة. قبل شراء أداة ، انظر إلى مكتبة الموصلات التي تدعمها. من الناحية المثالية ، يجب أن تتمتع أداة ELT باتصال أصلي بقواعد البيانات السحابية الشائعة ومنصات التخزين مثل Amazon S3 و Azure Blob و Snowflake و Amazon Redshift وغيرها.

بناء خطوط أنابيب ELT مع Astera

Astera هي أداة تكامل بيانات خالية من التعليمات البرمجية مع محرك ETL / ELT قوي. مع AsteraELT أو وضع التحسين لأسفل، يمكنك دفع منطق التحويل لأسفل إلى قاعدة البيانات المصدر أو الهدف عندما تكون موجودة على نفس الخادم. إليكم السبب Astera هو الحل الأمثل لتعلم اللغة الإنجليزية:

1. دعم العديد من الأنظمة الأساسية السحابية ، مثل Snowflake و Redshift و Amazon S3 و Blob ، مما يجعلها مناسبة تمامًا للبيئات السحابية.
2. وضعان للضغط: دفع جزئي وكامل. Asteraتقرر الخوارزمية الذكية أيهما يناسب أداء الوظيفة.
3. ينفذ وضع ELT استعلامات SQL التي تم إنشاؤها تلقائيًا على الوجهة.
4. دعم SQL الأصلي للتحولات، بما في ذلك الانضمام والتجميع والتوحيد والتوجيه والتبديل وأنواع مختلفة من عمليات البحث واستراتيجيات كتابة قاعدة البيانات.

تقليل الوقت اللازم لبناء خطوط أنابيب ELT باستخدام Astera

Astera يستخدم واجهة السحب والإفلات بدون تعليمات برمجية، وجدولة سير العمل وتدفق البيانات والأتمتة والدعم الاتصالي لجميع قواعد البيانات الشائعة والمنصات السحابية - مما يجعل بناء خطوط أنابيب ELT أمرًا سهلاً وسريعًا للغاية!

جربه الآن! - مجانًا لمدة 14 يومًا

Asteraتعمل وظائف ELT الخاصة بـ ELT ، إلى جانب أتمتة سير العمل القوية وقدرات التنسيق ، على تسريع تكامل البيانات لكميات كبيرة من البيانات مع تقليل زمن الوصول. مع Astera، يمكنك الاستفادة من قوة ELT وتحسين أداء تدفقات البيانات الأكثر تعقيدًا.

يمكنك تحميل Asteraالصورة نسخة تجريبية مجانية من 14 اليوم لدمج كميات هائلة من البيانات بسرعات لا تصدق.