المدونة

الرئيسية / المدونة / تقديم ميزة التخطيط الديناميكي الجديدة في Astera Centerprise 8.0

جدول المحتويات
الآلي, لا كود مكدس البيانات

تعلم كيف Astera يمكن لـ Data Stack تبسيط وتبسيط إدارة بيانات مؤسستك.

إدخال ميزة التخطيط الديناميكي الجديدة في Astera Centerprise 8.0

أكتوبر شنومكسند، شنومكس

بشكل تقليدي ETL أو ELT خط الأنابيب ، ترتبط جميع خرائط البيانات بإحكام بمخطط محدد بشكل ثابت. يتم إنشاء أنواع البيانات وعدد الأعمدة وأسماء الأعمدة بناءً على التخطيط الأصلي لجداول المصدر المقابلة.

بموجب هذا الأسلوب ، يجب أن تنعكس أي تعديلات في الملفات أو الجداول المصدر يدويًا في تدفقات البيانات ومهام سير العمل ذات الصلة. على الرغم من أن هذه المهام محدودة بشكل عام ، إلا أنه في المواقف التي يتم فيها تلقي بيانات المعاملات من مواقع مختلفة ، قد تحتوي بعض خلاصات الإدخال على أعمدة إضافية أو تتبع قواعد تسجيل مختلفة لحقول معينة. والأكثر من ذلك ، أن الإدارات المعنية عادة ما تكون أكثر من راغبة في تعديل كيفية توصيل بياناتها بشكل مستمر.

مع وجود التخطيطات الثابتة في مكانها الصحيح ، قد يُطلب من المستخدمين إجراء العديد من التعديلات اليدوية على الموجودة لديهم تعيينات البيانات والتحولات لحل انحرافات المخطط المحدث.

Asteraيعمل خيار التخطيط الديناميكي الجديد على تبسيط هذه المهام التي تستغرق وقتًا طويلاً مع ميزات بديهية تسمح بتكوين المعلمات لكيانات المصدر والوجهة. يتم نشر جميع التغييرات تلقائيًا عبر خرائط البيانات المرتبطة. يتم بدء هذه التغييرات بناءً على المسارات والعلاقات الموجودة بالفعل في الحقول الموجودة ضمن تدفقات البيانات ومهام سير العمل ، بغض النظر عن البنية المرئية للكيانات المصدر.

مع تمكين التخطيطات الديناميكية ، يمكن تحديد هذه الفروق وتنفيذها تلقائيًا في عمليات ETL و ELT الخاصة بك دون مقاطعة تكامل البيانات.

حالات استخدام التخطيط الديناميكي

لقد حددنا عدة سيناريوهات تكون فيها القدرة على أتمتة التغييرات الهيكلية على التخطيطات مفيدة لمستخدمينا. تشمل الاستخدامات المحتملة لهذه الميزة ما يلي:

  1. قم بتحديث تخطيطات تدفق البيانات بسرعة عند إضافة أعمدة أو إزالتها أو تعديلها في المصدر.
  2. تنفيذ عمليات مماثلة (التطهير ، والتحويلات ، والترحيل) عبر تدفقات بيانات متعددة مع الحد الأدنى من الضبط اليدوي.
  3. إنشاء عملية ETL أو ELT ديناميكية تقوم تلقائيًا باختيار ملفات متباينة من موقع معين وتحميلها إلى وجهات جديدة.

يتم شرح حالات الاستخدام هذه بمزيد من التفصيل أدناه.

التعامل مع الشذوذ التخطيط

في تدفق البيانات التالي ، يمكنك أن ترى أن الكيان المصدر يسمح بثلاثة حقول افتراضية ، والتي يتم تحسينها بعد ذلك بتحويل قيمة متغيرة وثابتة.

تعيين البيانات

تحديث كائن واحد في تخطيط ديناميكي

الآن ، يمكننا استخدام شاشة منشئ التخطيط لإعداد معلمة جديدة للمصدر ، كما هو موضح أدناه.

منشئ التخطيط الديناميكي

تكوين المعلمات في منشئ تخطيط كيان المصدر

بمجرد تمكين التخطيطات الديناميكية ، يتم تحديث إخراج هذا الكيان تلقائيًا بكل الحقول الجديدة التي يتم دفعها عبر نفس منطق التعيين. يظهر هيكل الجدول الجديد على النحو التالي:

معاينة بيانات التخطيط الديناميكي

معاينة البيانات تظهر الحقول المضافة لكيان المصدر في التخطيط الديناميكي

يمكننا اختبار هذه الميزة بشكل أكبر عن طريق إضافة حقل إلى الملف المصدر دون تغيير تخطيط الكائن المصدر في Astera Centerprise. سيوضح لنا هذا ما إذا كان التغيير ينعكس بدقة في تدفق البيانات.

لنفترض أننا تحققنا من الإخراج في الوجهة بعد إعادة تشغيل تدفق البيانات. في هذه الحالة ، يمكننا أن نرى أنه تم تنفيذ تفاضل تلقائيًا لحل أي تناقضات بين الكيان المصدر وملف Excel. ثم يتم دمج الحقل الإضافي بسلاسة في التعيين الحالي. ستحدث العملية بالضبط عندما تتم إزالة الحقول من الملف المصدر.

تخطيط ديناميكي

الإخراج المحدث بشكل حيوي

التخطيطات الديناميكية في عمليات ترحيل البيانات كبيرة الحجم

قواعد بيانات محدثة ديناميكيا

تصبح الفعالية الفعلية لهذه الميزة واضحة عندما ننفذها في كائن سير عمل ، والذي يختار مجموعة من الملفات المصدر من مستودع ويديرها من خلال سلسلة من التحويلات المحددة مسبقًا.

تعيين البيانات

تحديث كائنات مصدر متعددة في تخطيط ديناميكي

أعلاه ، لدينا مصدر قاعدة بيانات ديناميكي تم تكوينه للإشارة إلى إدخال محدد في تحويل المتغير.

مصدر قاعدة البيانات

معلمات التكوين لمصدر قاعدة البيانات

ومع ذلك ، فإن التحويل المتغير لا يحتوي على تعريفات لملف أو دليل مصدر.

في هذه الحالة ، يتم توفير التعريفات من خلال مصدر عناصر نظام الملفات الخارجي في سير العمل (انظر أدناه)

عملية التصميم

مصدر نظام الملفات الخارجي الذي يوفر تعريفات إلى تدفق البيانات المحدث ديناميكيًا

تم إعداد كائن المصدر هذا للإشارة إلى دليل يحتوي على 26 ملفًا مختلفًا ، ولكل منها تخطيط مختلف.

كما ترون أعلاه, تم ربط المسار الكامل واسم ملف الإدخال بكائن متغير في تدفق البيانات. تم أيضًا إعداد سير العمل هذا للتشغيل في حلقة ، لذلك سيتم التقاط كل ملف في الدليل المصدر وتشغيله من خلال كائن تدفق البيانات ، والذي سيتكيف ديناميكيًا مع التخطيط الجديد وتشغيل الملف المصدر من خلال التحويلات المتوفرة في آخر حالة استخدام دون الحاجة إلى أي تعديل يدوي من قبل المستخدم.

لقد قمنا أيضًا بتكوين الجدول الوجهة في تدفق البيانات الأصلي الخاص بنا لتحميل جميع الملفات المحولة إلى هدف CSV ، والذي تم تعريفه كإصدار كبير من اسم الملف المصدر كما هو مشار إليه بتعبير مختلف في الكيان المتغير.

استعلامات SQL محدثة بشكل حيوي

لقد استخدمنا استعلام SQL كائن المصدر لتحديد كافة الحقول من جدول الموظفين في قاعدة البيانات المصدر في الرسم التخطيطي أدناه.

تدفق البيانات الديناميكي الاستعلام SQL

مصدر استعلام SQL في تدفق البيانات الديناميكي

استعلام SQL

اختيار البيان

مرة أخرى ، تعتمد مسارات المعلمات في المتغير على مدخلات من كائن سير عمل خارجي ، كما هو موضح أدناه.

تدفق البيانات الديناميكي

مصدر سير العمل الخارجي توفير قيم المعلمات لتدفق البيانات الديناميكي

في هذه الحالة ، اخترنا مصدرًا محددًا يحتوي على إجمالي 26 اسم جدول. يتم تمرير هذا الكائن من خلال تحويل تعبير يضع اسم الجدول الموفر في اختر بيان

ثم يتم ربط هذه العبارة بحقل متغير إدخال sqlquery1 في تدفق البيانات. نتيجة لذلك ، يتم تنفيذ بيان التحديد عند المصدر بتنسيق التين 4 سيتم تحديثه ديناميكيًا لاختيار البيانات من جدول جديد في كل مرة يتم فيها تنفيذ تدفق البيانات.

يمكن أيضًا الوصول إلى كل تدفق بيانات جديد يتم إنشاؤه ديناميكيًا بشكل فردي إذا كانت هناك حاجة إلى تعديلات إضافية بناءً على جدول الإدخال.

كما ترون ، الملف المصدر في التين 5 تم تعيينه للتشغيل في حلقة ، لذلك سيستمر سير العمل في توفير أسماء جدول جديدة ، والتي سيتم استخدامها في الشكل 4 مصدر استعلام SQL. من خلال تنفيذ التخطيطات الديناميكية ، يمكن للمستخدمين توفير الوقت والجهد المبذولين في إنشاء العديد من تدفقات البيانات الفردية لأداء نفس العمليات على جداول مصدر مختلفة.

تنظيف البيانات والتنسيقات الديناميكية

التنفيذ الفعال الآخر للتخطيطات الديناميكية هو في عمليات تطهير البيانات واسعة النطاق. يجب التحقق من صحة مجموعة البيانات التي يتم تحديثها باستمرار للتأكد من دقتها واتساقها قبل تمريرها إلى أنظمة إعداد التقارير والتحليلات.

في المخطط التقليدي ، يجب تحديث التخطيط يدويًا كلما تم تحديث بيانات المصدر. في الحالات التي تقوم فيها الوظيفة المعنية بإجراء تغييرات هيكلية على جداولها دون إبلاغ المطورين ، قد تتعطل أنشطة تنظيف البيانات تمامًا. سيخلق هذا تأثيرًا كبيرًا على صنع القرار على المستويين التنفيذي والتشغيلي.

ما هو أكثر من ذلك ، إذا كانت هناك حاجة إلى تنظيف جداول متعددة بنفس الطريقة ، فإن المطورين سيحتاجون إلى إنشاء عمليات فردية للتعامل مع كل مصدر.

تطهير البيانات

تنظيف البيانات في Dataflow المحدثة ديناميكيًا

يوضح الشكل أعلاه كائن مصدر تم تكوينه لاختيار ملفات CSV من مصدر إدخال بناءً على القيم المقدمة في التحويل المتغير.

تم تكوين الكيان المستهدف بالمثل لإنشاء وجهة جديدة بناءً على التعريفات المقدمة في تحويل المتغير.

إدخال القيم المتغيرة

قيم متغيرة للمدخلات والمخرجات

تحويل البيانات

تنظيف البيانات لمجالات الإدخال

بينما يُظهر تدفق البيانات حاليًا حقل واحد فقط يتم دفعه خلال هذه العملية ، يمكننا إضافة عدة أعمدة إضافية إلى المصدر دون أي مشكلة.

سيتم دمج هذه بسلاسة في رسم الخرائط الموجودة على أساس هوية الزبون مجال الدليل وتحويله والإخراج إلى الوجهة المكونة حديثًا.

Astera Centerpriseميزة التخطيطات الديناميكية

هل تتطلع إلى نشر التغييرات على كائن وجهة أو إنشاء مسار كامل لتدفق البيانات يمكنه الاستجابة في الوقت الفعلي للتحديثات والتعديلات على مجموعات البيانات المصدر؟ Astera Centerprise يتيح لك إضافة تخطيطات ديناميكية تضيف المرونة حتى إلى تعيينات البيانات الأكثر تعقيدًا.

يمكنك جدولة أ استشارة بدون التزام مع فريقنا التقني اليوم للحصول على مزيد من المعلومات حول هذا والميزات الأخرى.

ربما يعجبك أيضا
مخطط النجمة مقابل. مخطط ندفة الثلج: 4 اختلافات رئيسية
كيفية تحميل البيانات من AWS S3 إلى Snowflake
BigQuery مقابل Redshift: أيهما يجب أن تختار؟
مع مراعاة Astera لتلبية احتياجات إدارة البيانات الخاصة بك؟

أنشئ اتصالاً خاليًا من التعليمات البرمجية مع تطبيقات مؤسستك وقواعد البيانات والتطبيقات السحابية لدمج جميع بياناتك.

دعونا نتواصل الآن!
يتيح الاتصال