الآلي, لا كود مكدس البيانات
تعلم كيف Astera يمكن لـ Data Stack تبسيط وتبسيط إدارة بيانات مؤسستك.
قراءة ملف مدفوعة ورسم الخرائط في Astera Centerprise
البيانات هي شريان الحياة للاقتصاد الحديث ، وأي مؤسسة تهدف إلى كسب قيمة ملموسة من أصول المعلومات لديها يجب أن تتعلم كيفية إدارة وتعظيم المدخلات المختلفة التي تصل عبر وظائفها. ومع ذلك ، أصبحت هذه المهمة صعبة بشكل متزايد في السوق المعولم اليوم حيث تعمل معظم الشركات ضمن شبكات متفرقة تتكون من شركاء الأعمال والموردين والموردين والشواغل الشقيقة والمزيد. غالبًا ما تخضع هذه الشبكات لعوامل تنظيمية وجيوسياسية واقتصادية متنوعة تؤثر على كيفية إعداد كل طرف لبياناته وتقديمها.
في هذه البيئة ، يجب على المؤسسات الكبيرة التأكد من أن لديها عمليات فعالة في مكانها لجمع ودمج البيانات من مصادر خارجية متباينة في الوقت المناسب وبطريقة فعالة من حيث التكلفة. وإلا ، فقد يتم تفويت المخاطر والفرص المحتملة التي تم الكشف عنها تمامًا.
بدافع Astera Centerpriseوظيفة المطابقة الذكية الجديدة ، يمكن للعملاء أتمتة كيفية معالجة عدم تناسق البيانات ومخالفات التنسيق في خطوط أنابيب ETL و ELT الخاصة بهم.
في هذا المستند ، سنقدم نظرة عامة سريعة على بعض الأسباب التي تجعل من تكامل التطبيقات التابع لجهة خارجية معقدًا ، إلى جانب حالة استخدام تفصيلية حول كيفية استخدام ميزة قراءة الملفات ورسم الخرائط التي تستند إلى المرادفات في Astera Centerprise لمواجهة التحدي.
إدارة البيانات الخارجية: المزايا والتحديات
من واشنطن بوست ذلك يستخدم البيانات المتعلقة بنقرات القراء وتفاعلهم لتحسين سير عمل غرفة الأخبار إلى The Climate Corporation التي تستخدم البيانات الجيوسياسية والطقس وإنترنت الأشياء لمساعدة المزارعين على توقع وتحسين غلة المحاصيل ، هناك العديد من الأمثلة المتاحة التي توضح كيف يؤدي تحسين تكامل البيانات الداخلية والخارجية إلى خلق مزايا تنافسية. لسوء الحظ ، فإن الكمية الهائلة والمتنوعة من البيانات التي يتم إنشاؤها خارجيًا يمكن أن تجعل هذه العملية كثيفة الاستخدام للموارد.
يمكن تصنيف التحديات التي تواجه التعامل مع البيانات الخارجية بناءً على مرحلة دورة حياة البيانات التي تحدث فيها ، أي الاستخراج والتحويل والتحميل / التكامل. الشكل 1 يحتوي على نظرة غير حصرية على هذه التحديات.
الشكل 1: تحديات استخدام البيانات الخارجية |
|
| المرحلة 1: استخراج البيانات الخارجية أو الحصول عليها | عدم القدرة على دمج مصادر البيانات الخارجية |
| يمتلك العديد من المستخدمين حق الوصول إلى نفس مجموعة البيانات (تكرار البيانات) | |
| إصدارات مختلفة من مجموعة بيانات واحدة | |
| المرحلة 2: تحويل البيانات الخارجية | التضارب بين البيانات الخارجية والداخلية |
| معالجة عدم الدقة في البيانات الخارجية | |
| المرحلة 3: تحميل البيانات في مستودع بيانات مركزي | تصميم مستودع بيانات للتعامل مع تدفقات البيانات المنظمة وغير المنظمة |
|
خدمة مجموعات البيانات المخصصة لمستخدمي الأعمال عبر واجهات برمجة التطبيقات |
|
سنركز على التحدي المتمثل في معالجة الاختلاف في البيانات التي يتم جمعها من تطبيقات الجهات الخارجية وضمان الاتساق بين البيانات الداخلية والخارجية باستخدام ميزة قراءة الملفات ورسم الخرائط التي تعتمد على المرادفات في Astera Centerprise.
تحقيق تناسق البيانات من خلال قراءة الملفات ورسم الخرائط المستندة إلى المرادفات
تحدث حالات عدم اتساق مرادفات التخطيط بين أنظمة المصدر وهياكل التقارير في كل من المستودعات الفردية ، مثل قواعد البيانات ، بالإضافة إلى البنى الموحدة مثل مستودعات البيانات وأنظمة قواعد البيانات الموحدة. في الحالة الأخيرة حيث يتم تجميع مصادر البيانات المتعددة معًا ودمجها لإعداد التقارير والتحليلات ، فمن المحتمل أن يكون هناك المزيد من الاختلافات في تسمية وتنسيق تخطيطات البيانات الواردة.
تتمثل إحدى طرق تحقيق تناسق التخطيط في تحليل المصادر الفردية ، وتحديد جميع حالات عدم الاتساق في العناوين وحلها يدويًا ، ثم إعادة إنشاء تدفقات البيانات ذات الصلة بناءً على المدخلات المصححة. بالإضافة إلى ذلك ، لا يمكن تحقيق اتساق البيانات من خلال عملية تعمل بمعزل عن الآخرين ويجب أن تستند إلى معايير شاملة يتم تطبيقها عبر جميع مجموعات البيانات الواردة إلى المؤسسة. ستصبح هذه القضايا أكثر وضوحًا فقط مع زيادة عدد المصادر الخارجية.
توفر قراءة الملفات المستندة إلى المرادفات ورسم الخرائط طريقة بديهية وقابلة للتطوير لحل تعارضات الأسماء وعدم الاتساق التي تنشأ أثناء تكامل البيانات بكميات كبيرة من خلال مرادفات تعتمد على البيانات. باستخدام هذه الميزة القائمة على المرادفات ، يمكن للمستخدمين إنشاء مكتبة مخصصة تحتوي على قيم للقيم الحالية والبديلة التي قد تظهر في حقل الرأس لجدول الإدخال. Centerprise ستطابق تلقائيًا العناوين غير المنتظمة مع العمود الصحيح في وقت التشغيل وتستخرج البيانات منها كالمعتاد.
يمكن أيضًا دمج كائنات المصدر المتغيرة بسهولة في تدفقات البيانات الموجودة من خلال ميزة التهيئة التلقائية الجديدة التي تسمح بمطابقة الحقول الشاذة مع القيم المقابلة في التحويلات اللاحقة والكيانات المستهدفة.
ميزة SmartMatch: حالة استخدام متعدد العملاء
لاكتساب فهم أفضل لكيفية عمل الميزة Astera Centerprise، دعنا نفكر في مثال شركة التأمين على السيارات باسم XYZ التي توفر معالجة مطالبات التأمين لشركات العملاء ، وكذلك العملاء الأفراد. تتلقى الشركة بيانات المطالبات التي يجب استخراجها وتصفيتها وتنظيفها وتسليمها إلى الإدارات المعنية.
ثم تتضمن بقية العملية تحليل البيانات وطباعة النماذج المناسبة وإرسالها بالبريد إلى المدعي. يتمثل أحد الاختناقات الحرجة التي تؤثر على الكفاءة لمثل هذه المؤسسة في دمج بيانات المطالبات الواردة من شركات العملاء المختلفة والعملاء لمزيد من المعالجة.
لا يزال العديد من العملاء الأكبر يعتمدون على الإدخال اليدوي للبيانات لجمع بيانات المطالبات في جداول البيانات قبل إرسالها بالبريد الإلكتروني إلى شركة التأمين. ونتيجة لذلك ، يتبع الكثير من معلومات السياسة الواردة تنسيقًا غير قياسي ، مع اختلاف اصطلاحات التسمية بشكل كبير بناءً على المدعي. في الوقت الحالي ، يضطر مسؤولو تكنولوجيا المعلومات في XYZ إلى حل هذه الاختلافات من خلال إنشاء خطوط أنابيب تدفق بيانات جديدة لكل مصدر فردي.
تدفق بيانات معالجة المطالبات للعملاء الكبار - شركات التأمين XYZ
مع تمكين وظيفة SmartMatch ، يمكن استخدام تدفق بيانات واحد لمعالجة ملفات المطالب المتعددة على الرغم من اصطلاحات التسمية المختلفة. للقيام بذلك ، يقوم ببساطة بإنشاء مرادف لصناعة التأمين من حيث قاموس الملفات الذي يمكن تنفيذه عبر مشروع معالجة المطالبات الخاص به.
قاموس ملف مرادف لشركات التأمين XYZ
بعد ذلك ، يقومون بإنشاء سير عمل متكرر يتم تعيينه لالتقاط ملفات Excel المرسلة من مختلف المطالبين وتشغيلها من خلال تدفق البيانات الأصلي بشكل مستمر.
XYZ سير العمل المؤمن
عند بدء سير العمل ، سيبحث كائن مصدر تدفق البيانات أولاً عن تطابق رأس دقيق في أعمدة ملفات Excel الواردة كما هو محدد في التخطيط الأصلي. إذا لم يتم العثور على هذا ، ثم Centerprise سيبحث عن الرؤوس التي تتطابق تمامًا مع التعريفات البديلة المقدمة في قاموس ملف المرادفات أعلاه أي "الدخل السنوي = الراتب ". يتم إنشاء تعريفات إضافية باستخدام الأمر "|" - أي "رقم العميل = معرف العميل | العميل "
يسمح SmartMatch أيضًا بمطابقة الرمز المميز ، مما يعني أنه يمكن إعداد تعريفات بديلة للقيم الجزئية التي يمكن تكرارها عبر رؤوس متعددة في كائن مصدر الإدخال. فمثلا "رقم = رقم | # " إذا استخدمت XYZ هذا الرمز المميز في قاموس المرادفات الخاص بهم ، فإن أي مصادر إدخال تستخدم اصطلاحات التسمية البديلة المقدمة للقيمة رقم يمكن دمجها في تدفق البيانات الحالي دون أي تعديل يدوي.
إذا كانت ميزة SmartMatch لا تزال غير قادرة على حل تناقضات العناوين في ملفات الإدخال الجديدة ، فعندئذٍ Centerprise سيستخدم مطابقة السلسلة المدمجة. هذا يعني أن جميع علامات الترقيم والمسافات ستتم إزالتها من أسماء أعمدة الإدخال ثم تتم مطابقتها مع التعريفات في التخطيط والقاموس الأصلي. على سبيل المثال ، يمكن للمدعي أن يحدد له السياسة صالحة منذ حقل تحت الرأس السياسة: تاريخ البدء - كما ترون ، هذه القيمة لا تتطابق مع أي من التعريفات الموضحة أعلاه. ونتيجة لذلك ، ستؤدي مطابقة السلسلة المدمجة إلى إزالة القولون ومحاولة إصلاح المخالفات.
عملية المطابقة الذكية
SmartMatch والخرائط التلقائية
SmartMatch فعال أيضًا في التوفيق بين أي مخالفات تحدث بين كائنين في تدفق البيانات. على سبيل المثال ، إذا قام أحد أقسام الاستلام في XYZ بتعريف حقول معينة بشكل مختلف عن الكائن المصدر ، فإن خيار التعيين التلقائي يمكن أن يساعد في عزل هذه التناقضات. بمجرد تحديدها ، يمكن للمستخدمين إضافة التعريف المفقود إلى قاموس المرادفات الخاص بهم وضمان تنفيذ تدفق تدفق البيانات دون انقطاع.
يعرض التعيين التلقائي التناقضات
كما ترون ، فإن مستوى التعليم يتم تعريف الحقل على أنه التعليم_ حصل في تخطيط القسم ب. يمكن فرز هذا الاختلاف في اصطلاحات التسمية في ملف القاموس إما من خلال تعريف مطابق تمامًا أو مميز. يتم بعد ذلك إجراء التعيين التلقائي ببساطة مرة أخرى وسيتم دمج الحقل غير المعين في تدفق البيانات.
يمكن لمجموعة ميزات SmartMatch الموضحة في هذه المدونة أن تساعد المؤسسات في أي صناعة على إنشاء خطوط بيانات أكثر قابلية للتكيف وقابلة للتطوير ومصممة بشكل أفضل للتعامل مع مجموعة متنوعة من المصادر الخارجية والداخلية. استكشف هذه الميزة مباشرة عن طريق تنزيل الإصدار التجريبي من Astera Centerprise 8.0.
