نبذة
تم إنشاء مستودعات البيانات في الأصل ليتم تحديثها على أساس سنوي أو شهري أو أسبوعي. في بيئة الأعمال اليوم ، لم يعد بإمكان المؤسسات انتظار البيانات لتشق طريقها إلى مخازن البيانات الخلفية - فهي بحاجة إلى التقاط البيانات مباشرة من أنظمة المعاملات الأساسية أثناء جمعها. تغيير التقاط البيانات (CDC) عبارة عن مجموعة من أنماط تصميم البرامج المستخدمة لتحديد وتعقب البيانات التي تم تغييرها بحيث يمكن اتخاذ الإجراء باستخدام البيانات المتغيرة دون تأخير.
Asteraتدعم مجموعة منتجات إدارة البيانات الخاصة بـ "مجموعة متنوعة من استراتيجيات التقاط بيانات التغيير ، كل من الدُفعة والوقت الفعلي ، مما يمكّن الشركة من تحديد استراتيجية تحديث تعمل على تحسين عمليات تكامل البيانات الشاملة. هذا مهم بشكل خاص عند الحاجة إلى نسخ البيانات من قواعد بيانات الإنتاج إلى مستودع بيانات التحليلات دون تعطيل التدفق المنتظم للبيانات ، وهذا هو الحال عندما يضطر المستخدمون إلى انتظار عمليات التشغيل المجمعة. يعمل التقاط البيانات المتغيرة (CDC) على تبسيط التحليلات الحديثة من خلال الاستفادة من البيانات التي تعتمد على الأحداث وجعل تكامل البيانات أكثر مرونة لتقديم كفاءة تشغيلية متزايدة.
كيف يعمل تغيير التقاط البيانات
تتيح تقنية Change Data Capture للمستخدمين تحديد الحقول التي يجب تدقيقها ، ثم تسجيل إدخالات قاعدة البيانات والتحديثات والحذف تلقائيًا لإتاحة سجل لما تم تغييره وأين ومتى في جداول ارتباطية بسيطة. تحتوي جداول "التغيير" هذه على البيانات الوصفية الضرورية لفهم التغييرات في السياق الصحيح ، مما يؤدي في النهاية إلى اتخاذ قرارات عمل أفضل.
تحديد
Asteraتسمح تقنية CDC الخاصة بـ CDC للمستخدم بالاختيار من بين خيارات تعريف متعددة: مشغلات قاعدة البيانات ، والطوابع الزمنية ، وجداول السجل لتحديد التغييرات. باستخدام أساليب التقاط بيانات التغيير هذه ، يمكن أيضًا نشر إستراتيجية القراءة المختلطة بشكل مرئي من خلال تحديد قواعد العمل التي تخبر النظام بالتغييرات التي يجب تحديدها وكيف.
يمكن بناء تدفقات التكامل باستخدام استراتيجيات CDC "للاستماع" إلى التغييرات من أجل الانتشار اللاحق. يمكن أيضا تحديد استراتيجية CDC أثناء تكوين إعدادات تحميل مستودع البيانات في Astera .
إنها تقوم بالتسجيل
يتم إدراج INSERTs ، UPDATEs ، و DELETEs المطبقة على جداول SQL Server باستخدام CDC لإنشاء جداول التغيير تلقائيًا التي تلتقط ما تم تغييره ، وأين ومتى في الجداول التي يتم تتبعها. تحتوي جداول التغيير هذه على أعمدة تعكس بنية العمود لجدول المصدر ، إلى جانب البيانات الوصفية اللازمة لفهم التغييرات التي تم إجراؤها.
يقوم CDC بإنشاء نسخة متطابقة من الجدول المتتبع ، مع أعمدة إضافية لبيانات التعريف ، ويستخدمه لمراقبة التغييرات.
نقل
بمجرد تحديد التغييرات وتسجيلها ، Asteraيستخدم محرك المعالجة المتوازي القوي الخاص بنا عمليات الاستخراج والتحويل والتحميل (ETL) تلقائيًا على الواجهة الخلفية لتحميل البيانات المتغيرة من جداول مصدر SQL Server إلى مستودع البيانات أو سوق البيانات ، إما لكل معاملة أو في المجاميع.
لأن CDC يلتقط التغييرات التي تم إجراؤها في مصدر البيانات ويطبقها في جميع أنحاء المؤسسة ، فإنه يقلل من الموارد المطلوبة لعمليات ETL لأنه يتعامل فقط مع تغييرات البيانات.
التعرف على الأحداث التجارية وقت حدوثها والتقاطها تلقائيًا
ضمان التزامن بين البيانات وتسهيل تكامل البيانات في الوقت الحقيقي باستخدام Asteraمحرك ETL ذو القوة الصناعية مع إمكانات الأتمتة المتقدمة ، وتغيير التقاط البيانات يتيح الانتشار السلس للإدخالات الجديدة التي يتم إدخالها إلى قاعدة البيانات إلى التطبيقات المرتبطة مثل الشحن ، والفواتير ، وما إلى ذلك.
الملامح الرئيسية لل DWAccelerator تتضمن:
تلبية المتطلبات الحديثة لتكامل البيانات في الوقت الحقيقي
يتطلب تطور التطبيقات التي تعتمد على البيانات نهجًا حديثًا ورشيقًا لتكامل البيانات. Asteraتقوم تقنية CDC الخاصة ببرنامج CDC بالتقاط البيانات مباشرة من أنظمة المعاملات الأساسية أثناء تجميعها ، وبالتالي تمكين تكامل البيانات في الوقت الفعلي.
إنشاء تكوينات CDC بسرعة وسهولة
مع بيئة السحب والإفلات الخالية من التعليمات البرمجية لحلولنا ، يكون تكوين استراتيجية CDC الصحيحة أمرًا سريعًا وسهلاً. يُطلب من المستخدمين تحديد "التحميل الإضافي" كخيار مرغوب للكيانات المطلوبة وتحديد الإعدادات الأخرى لتحميل البيانات الجديدة تدريجيًا من مصدر إلى مستودع البيانات.
قلل من الموارد المطلوبة لعمليات ETL
بدلاً من عمليات التحميل والاستخراج والتحميل ذات الأحجام الكبيرة ، التي تعمل على تحميل الدفعة ، والتي تعطل الإنتاج وتستهلك طاقة معالجة هائلة ، استخدم CDC لالتقاط البيانات التي تم تغييرها فقط في أنظمة المصدر وتقديم التغييرات عبر المؤسسة.
احصل على أحدث البيانات بسرعة لاتخاذ قرارات عمل أفضل
لم تعد الشركات قادرة على انتظار وصول البيانات من المتاجر الخلفية نظرًا لأن قيمة قرارات العمل تستند في المقام الأول إلى حسن توقيتها. لضمان ذلك ، Astera تقدم لموظفيك أحدث إصدار من المعلومات وأكثرها اكتمالًا ودقة من خلال تقنية تغيير بيانات الالتقاط (CDC).
اختيار مجموعة من الدفعات ، وقرب الوقت الحقيقي ، واستراتيجيات CDC في الوقت الفعلي
وفقًا لمتطلبات العمل والبيئة ، قم بتكوين CDC بسهولة لتحميل البيانات المتغيرة على دفعات أو بزيادات محددة أو تسليم الدفق في الوقت الفعلي. التكنولوجيا مرنة بما يكفي لجميع استراتيجيات عملك.
بناء تدفقات التكامل التي "الاستماع" إلى تغييرات قاعدة البيانات
Asteraيوفر منشئ الصور المرئي للمستخدمين واجهة سحب وإفلات بسيطة لبناء تدفقات بيانات قابلة لإعادة الاستخدام يمكن تكييفها لتناسب أي متطلبات لتكامل البيانات ، بما في ذلك القدرة على "الاستماع" إلى التغييرات في حقول قاعدة البيانات وتحديث أنظمة الهدف.
إعداد CDC باستخدام مشغلات قاعدة البيانات الآلية
Asteraيطبق CDC الخاص بمشغلات قاعدة البيانات وكائنات تعريف التغيير الأخرى مثل الطوابع الزمنية ، وتاريخ الإصدار ، ومؤشرات الحالة الحالية على أنظمة المصدر لمراقبة التغييرات.
قم بتوسيع تكوين CDC الخاص بك لاستيعاب أحجام البيانات الضخمة
الاستفادة من قوة المعالجة المتقدمة Asteraمحرك عالي الأداء يستفيد بشكل كامل من الأجهزة متعددة المعالجات والمعالجات لزيادة تكوينات CDC للتعامل مع حجم البيانات الضخم.
اختر ما إذا كنت تريد استخراج كل التحديثات أو تحديد قليل
يمكن تكوين ميزة CDC لالتقاط أي مجموعة من التغييرات ، سواء كنت ترغب في استخدامها لتحميل قاعدة بيانات المصدر بالكامل ، أو قم بإعدادها فقط لمشاهدة بعض الحقول المحددة للتغييرات وتحديثها باستمرار في مستودع البيانات.
التقاط البيانات الوصفية تلقائيًا لفهم سياق التغييرات
في حين أن التكنولوجيا يمكنها مراقبة التغييرات والتقاط هذه البيانات ، فإن CDC تلتقط أيضًا التغييرات في بنية قاعدة البيانات باستخدام لغة تعريف البيانات (DDL) الخاصة بها وتسجل هذه البيانات الوصفية في عمود جدول تدقيق منفصل.
