المدونة

الرئيسية / المدونة / إنشاء تدفق بيانات معقد في Centerprise - الجزء 1

جدول المحتويات
الآلي, لا كود مكدس البيانات

تعلم كيف Astera يمكن لـ Data Stack تبسيط وتبسيط إدارة بيانات مؤسستك.

إنشاء Dataflow معقدة في Centerprise - الجزء 1

25 سبتمبر، 2023

 

الجزء الأول - التحولات والوظائف

مشاركتنا الأخيرة (إنشاء تدفق التكامل في Centerprise) وصف كيفية إنشاء تدفق بيانات بسيط فيه Centerprise. في هذه المدونة المكونة من جزأين ، سنوضح لك كيفية إنشاء تدفق بيانات أكثر تعقيدًا بما في ذلك الخرائط والتحويلات وقواعد جودة البيانات وملفات تعريف البيانات.

يوضح الشكل أدناه تدفق بيانات أكثر تعقيدًا.

37

في هذا المثال ، نعمل مع ملفي مصدر ، يحتوي أحدهما على معلومات حول قروض المنازل والآخر يحتوي على معلومات حول ضريبة الأملاك لقروض المنازل المقابلة. نحتاج إلى دمج هذين القطعين من البيانات وإجراء بعض التحويلات من خلال إجراء بعض العمليات الحسابية على السمات. في النهاية نريد توجيه البيانات إلى جدولين مختلفين للوجهة ، اعتمادًا على أصل قرض المنزل: إذا كان من كاليفورنيا ، فإنه يذهب إلى جدول قروض كاليفورنيا ، وإلا فإنه يذهب إلى جدول القروض الخارجية. إلى جانب ذلك ، نحتاج إلى التحقق من جودة البيانات لبيانات القرض ومرة ​​أخرى للبيانات الضريبية. نحتاج أيضًا إلى تعريف البيانات الضريبية بحيث يمكن إرسالها إلى ملف Excel والإخراج كتقرير.

من أجل تصميم تدفق البيانات الموضح أعلاه ، نبدأ بالنقر فوق الزر New Dataflow لإنشاء تدفق بيانات جديد. أولاً ننظر إلى البيانات - بيانات القروض وبيانات الضرائب. في المدونة السابقة ، إنشاء تدفقات بيانات بسيطة ، تعلمنا كيفية إنشاء مصدرنا ببساطة عن طريق السحب والإفلات من مربع الأدوات إلى المصمم وتحديد الخصائص. ومع ذلك ، هناك أيضًا اختصار لإنشاء المصادر مباشرة. ما عليك سوى سحب وإفلات ملفات Excel والقروض الضريبية مباشرة من نافذة Explorer إلى المصمم.

2

Centerprise يقوم بالباقي. لقد أنشأ المصدر ، ويعرف من أين يأتي الملف ، وقام بالتخطيط. عندما تنقر على الرمز ، يمكنك رؤية جميع أعمدة البيانات من الملف المصدر.

3

انقر على معاينة ويمكنك رؤية جميع بياناتك في نافذة المعاينة.

12

الآن افعل نفس الشيء مع ملف الضريبة. عند معاينة بياناتك الضريبية ، يمكنك الاطلاع على معلومات ضريبة الأملاك لكل من القروض.

5

بعد ذلك نريد الجمع بين المصدرين. للقيام بذلك ، نستخدم تحويل الانضمام. اسحب وأفلت تحويل الانضمام إلى المصمم.

6

عندما تنقر على الرمز ، يمكنك أن ترى أن التحويل لا يحتوي على أي عناصر.

7

نريد أن نأخذ جميع العناصر من كل من القروض ومصادر الضرائب ودمجها في تحويل الانضمام. اسحب العقدة العلوية للقروض وأفلتها في نافذة الانضمام. يمكنك مشاهدة هذا Centerprise قام تلقائيًا بإنشاء جميع الحقول وتعيينها.

8

لإضافة حقلي الضرائب إلى الصلة ، اسحب كل حقل وأفلته في نافذة الانضمام و Centerprise يضيف الحقول تلقائيًا ويعينها.

9

لاحظ أنه نظرًا لوجود الآن حقلين لـ LoanId ، Centerprise ألحق الشخص من Source Tax إلى LoanID_1.

الآن لدينا جميع الحقول المطلوبة للانضمام. إذا نقرنا بزر الماوس الأيمن على نافذة الانضمام واختر خصائص ، يمكننا رؤية جميع الحقول من كل من القروض والضرائب.

10

انقر على السهم الأزرق في أعلى يسار النافذة للانتقال إلى الصفحة التالية ، حيث سنحدد نوع الانضمام الذي نريده. اختر صلة داخلية بسيطة ، ثم حدد في المدخلات Sort Left و Sort Right المفتاح الذي سيتم استخدامه للربط. بالنسبة للقروض ، هو LoanID والضرائب هي LoanID_1.

11

انقر فوق موافق وانضمامنا جاهز. عندما نعاين البيانات ، يمكننا أن نرى أنه بالنسبة لكل من القروض يتم ضم معلومات الضرائب العقارية والقروض.

12

لذا ، انضمنا إلى مصدرين لدينا ببضع نقرات.

الخطوة التالية هي استخدام انضمامنا كمصدر للتحول والخرائط. قم بسحب وإسقاط Expression Map من صندوق الأدوات إلى المصمم.

13

يستخدم هذا لإجراء العمليات الحسابية وأي نوع من دمج البيانات. في هذا المثال نرى أن معلومات القروض لها اسم المقترض والدولة والرمز البريدي. نريد دمج هذه الحقول الثلاثة في حقل واحد ونطلق عليها "العنوان" في وجهتنا. نظرًا لأننا سنوجه إلى وجهتين مختلفتين ، فإن خطوتنا التالية الطبيعية هي إضافة جهاز توجيه.

اسحب جهاز التوجيه وأفلته من صندوق الأدوات على المصمم. يصبح جهاز التوجيه الوجهة التالية.

14

بعد ذلك ، اسحب وأفلت الحقول الثلاثة التي نريد دمجها (اسم المقترض ، الولاية ، والرمز البريدي) من نافذة الانضمام إلى نافذة التعبير.

15

ثم افتح نافذة خصائص التعبير ، وانقر على الزر التالي للسهم الأزرق ونعرض علينا كاتب القواعد ، والذي يسمح لنا بكتابة أي نوع من القواعد. يمكنك أن ترى القائمة المنسدلة للوظائف تحتوي على مجموعة كبيرة من الوظائف التي يمكن استخدامها لكتابة قواعد مثل المنطقية ، والتحويل ، والتاريخ / الوقت ، وتحليل الاسم والعنوان ، والرياضيات ، إلخ.

17

في هذا المثال لدينا سلسلة بسيطة جدًا ، لذا سنكتب القاعدة بدءًا بالاسم ، ثم فاصلة ، ثم الولاية ، ثم مسافة ، ثم الرمز البريدي ، وهو عدد صحيح. نظرًا لأننا نقوم بربط السلاسل ، سنستخدم وظيفة تحويل لتحويل الرمز البريدي من عدد صحيح إلى سلسلة.

18

انقر فوق موافق وقيمتنا جاهزة للإخراج. نأخذ هذه القيمة وسحبها وإسقاطها إلى وجهتنا. يمكنك رؤية القيمة الآن في الوجهة.

19

في هذه المرحلة ، يمكننا إجراء معاينة ومعرفة كيف ستعمل بياناتنا حقًا. يمكنك أن ترى أن الاسم ، الولاية ، والرمز البريدي تم دمجهما بالطريقة التي أردناها: الاسم ، الفاصلة ، الولاية ، الفضاء ، الرمز البريدي. هذه هي الطريقة التي يمكنك من خلالها كتابة قواعد بسيطة وحسابات بسيطة لتحويل البيانات.

20

بعد ذلك نريد إنشاء دالة. نبدأ بسحب وإسقاط وظيفة من مربع الأدوات إلى المصمم.

21

لدينا حقل الاسم في وصلنا ، لكن وجهتنا تستخدم حقلي الاسم الأول واسم العائلة ، لذا نحتاج إلى أخذ حقل الاسم وتقسيمه إلى الاسم الأول واسم العائلة. لذلك سنستخدم وظيفة تحليل الاسم. انقر على خصائص الوظيفة واختر تحليل الاسم والعنوان من القائمة المنسدلة. ثم حدد وظيفة Parse Name وانقر فوق OK.

الاسم

 

عند توسيع الوظيفة ، يمكنك رؤية توفر قائمة بخيارات الحقول ذات الصلة بالاسم المحتمل.

23

اسحب وأفلت حقل الاسم من نافذة الانضمام إلى الجانب الأيسر من الوظيفة لإنشاء الإدخال ، ثم لدينا الخيارات على الجانب الأيمن للإخراج. قم بسحب وإسقاط حقول FirstName و LastName من نافذة الوظيفة إلى الوجهة.

24

عند المعاينة ، يمكنك رؤية ذلك Centerprise أخذ الأسماء من التحويل وقسمها إلى الاسم الأول واسم العائلة.

25

هذه هي الطريقة التي يمكنك من خلالها استخدام الوظائف والتعبيرات. سيشرح الجزء الثاني من هذه المدونة الأسبوع المقبل كيفية توجيه البيانات التي قمنا بتحويلها إلى وجهات متعددة.

ربما يعجبك أيضا
ما هو كتالوج البيانات؟ الميزات وأفضل الممارسات والفوائد
مخطط النجمة مقابل. مخطط ندفة الثلج: 4 اختلافات رئيسية
كيفية تحميل البيانات من AWS S3 إلى Snowflake
مع مراعاة Astera لتلبية احتياجات إدارة البيانات الخاصة بك؟

أنشئ اتصالاً خاليًا من التعليمات البرمجية مع تطبيقات مؤسستك وقواعد البيانات والتطبيقات السحابية لدمج جميع بياناتك.

دعونا نتواصل الآن!
يتيح الاتصال