كيفية تحميل البيانات من AWS S3 إلى Snowflake

وفقًا دراسة أجرتها ستاتيستا، تم تقييم سوق التخزين السحابي بـ بـ90.17 مليار دولار في عام 2022 وسوف تصل إلى قيمة بـ472.47 مليار دولار بحلول عام 2030. هذه الأرقام تشير تحول متزايد نحو الحوسبة السحابية وحلول تخزين البيانات.

يتضمن السيناريو النموذجي في إدارة البيانات الحديثة نقل البيانات من التخزين السحابي إلى منصات الحوسبة السحابية. تعد خدمة التخزين البسيطة (S3) من أمازون من بين الخدمات المفضلة الخيارات بالنسبة للأول، وتثق الشركات في Snowflake بالنسبة للأخير. 

ونتيجة لذلك، تعد عمليات نقل البيانات من S3 إلى Snowflake أمرًا شائعًا بالنسبة للشركات التي تتطلع إلى ذلك تستفيد من التآزر للتخزين القابل للتطوير في S3 وميزات تخزين البيانات المتطورة في Snowflake. 

تناقش هذه المدونة ال عملية تحميل بيانات S3 إلى Snowflake وشرحهاهناك طريقتان لإعداده حتى تتمكن من اختيار الطريقة الصحيحة. دعونا البدء. 

نظرة عامة على أمازون S3 

Amazon S3 هي خدمة تخزين كائنات تقدمها Amazon Web Services (AWS). إنه مدعوم ببنية تحتية للتخزين قابلة للتطوير تدعم شبكة التجارة الإلكترونية العالمية الضخمة التابعة لشركة أمازون. 

باعتبارها خدمة تخزين سحابية عالية السرعة ومعتمدة على الويب، تقوم Amazon S3 بإنشاء نسخ احتياطية عبر الإنترنت للبيانات والتطبيقات على AWS. إنها مناسبة تمامًا لتلبية متطلبات تخزين البيانات لأي نطاق من الصناعات المختلفة. 

التكامل مع خدمات AWS الأخرى: يمكنك ربط S3 بخدمات الأمان والمراقبة الأخرى من AWS مثل Macie وCloudTrail وCloudWatch. يعد ربط خدمات البائعين مباشرة بـ S3 أحد الخيارات أيضًا. 

نقل البيانات بسهولة وأمان: اطلع على نقل البيانات إلى S3 عبر الإنترنت العام من خلال S3 APIs. يمكن أن يساعدك Amazon S3 Transfer Acceleration على نقل البيانات بسرعة أكبر، كما يقوم AWS Direct Connect بإنشاء اتصال خاص بين S3 ومركز البيانات الخاص بك. 

استخدم حالات: يعد Amazon S3 خيارًا جيدًا للتخزين للمؤسسات ذات الأحجام المختلفة بفضل قابلية التوسع والأمان والتوافر وإمكانيات الأداء. تتضمن حالات استخدام S3 النموذجية ما يلي: 

• مخزن البيانات 
• أرشفة البيانات 
• تخزين الوثائق 
• النسخ الاحتياطي للبيانات 
• تخزين ملف السجل 
• تسليم البرمجيات 
• موقع استضافة 
• بحيرات البيانات ومستودعات البيانات

نظرة عامة على ندفة الثلج 

Snowflake عبارة عن برنامج كخدمة مُدار بالكامل (SaaS) بدأ في عام 2012 وتم إطلاقه في عام 2014. يقدم منصة واحدة لمعالجة تخزين بيانات المستخدمين، وبحيرات البيانات، وعلوم البيانات، وتطبيق البيانات وتطويرها، ومتطلبات هندسة البيانات. كما أنه يدعم المشاركة الآمنة واستهلاك البيانات في الوقت الفعلي أو المشتركة. 

يعمل حل تخزين البيانات السحابي هذا على تبسيط عملية تخزين ومعالجة وتحليل البيانات المنظمة وشبه المنظمة. إن فصل Snowflake بين الحوسبة والتخزين يميزه عن مستودعات البيانات التقليدية. يتيح لك ذلك تخصيص الموارد لوظائف مختلفة بشكل مستقل بناءً على متطلباتك. 

فيما يلي بعض الميزات الرئيسية لـ Snowflake: 

لا توجد أجهزة وبرامج محدودة: نظرًا لكونه عرض SaaS حقيقيًا، فإن Snowflake لا يتحمل أعباء الأجهزة الافتراضية أو المادية التي يتعين عليك تثبيتها أو تهيئتها. لا يوجد أيضًا أي برنامج تقريبًا ستحتاج إلى إعداده. 

صيانة خالية من المتاعب: تتولى Snowflake جميع مهام الصيانة والتحديثات والضبط والإدارة - مما يخفف العبء الإداري على المستخدمين. 

اللاأدرية لموفر السحابة: من المعروف أن Snowflake لا يلتزم بمزود الخدمات السحابية. وهو متاح على AWS وAzure وGCP ويحتفظ بوظائفه وتجربة المستخدم النهائي في كل منها.

كيفية تحميل البيانات من S3 إلى Snowflake؟ 

هناك طريقتان يمكنك من خلالهما تحميل البيانات من S3 إلى Snowflake: يدويًا أو آليًا. 

أدناه، حسنا ناقش نقل البيانات يدويًا باستخدام أمر COPY INTO ونقل البيانات تلقائيًا باستخدام أداة تكامل تابعة لجهة خارجية مثل Astera. 

نقل البيانات يدويًا من S3 إلى Snowflake

يتم تضمين الخطوات التالية في إعداد نقل البيانات يدويًا بين S3 وSnowflake: 

1. إعداد دلو Amazon S3 

• إذا لم يكن لديك بالفعل حاوية Amazon S3، فقم بإنشاء حاوية يتم فيها تخزين بياناتك. 
• تأكد من أن Snowflake لديه الأذونات اللازمة للوصول إلى هذه المجموعة. قد تحتاج إلى إعداد دور AWS Identity and Access Management (IAM) ومنحه الأذونات المطلوبة وإرفاقه بحساب Snowflake.

2. تكوين المرحلة الخارجية لندفة الثلج 

• قم بتسجيل الدخول إلى حساب Snowflake الخاص بك. 
• قم بإنشاء مرحلة خارجية باستخدام واجهة الويب Snowflake أو أوامر SQL. 
• اذكر مسار حاوية Amazon S3 كموقع للمرحلة الخارجية. 

3. إنشاء جدول ندفة الثلج 

• حدد مخطط جدول Snowflake الذي يطابق بنية البيانات الخاصة بملفات Amazon S3 الخاصة بك. 
• قم بإنشاء جدول في Snowflake للبيانات المنقولة من S3. 

4. إعداد تكامل ندفة الثلج 

• إنشاء تكامل ندفة الثلج كائن لإنشاء اتصال بين Snowflake وAmazon S3. 
• حدد التفاصيل الضرورية، مثل مفتاح وصول AWS، ومفتاح AWS السري، والمرحلة الخارجية المرتبطة بحاوية S3. 

5. منح الأذونات المطلوبة 

• تأكد من أن مستخدم أو دور Snowflake لديه الأذونات اللازمة للوصول إلى المرحلة الخارجية وتحميل البيانات إلى جدول Snowflake. 

6. تحميل البيانات في ندفة الثلج 

• استخدم أمر COPY INTO في Snowflake لتحميل البيانات من المرحلة الخارجية (Amazon S3) إلى جدول Snowflake. 
• حدد تنسيق الملف المصدر، والجدول الوجهة، والخيارات الأخرى ذات الصلة. 

7. المراقبة واستكشاف الأخطاء وإصلاحها 

• مراقبة عملية نقل البيانات لضمان عمليات سلسة وخالية من الأخطاء. 
• تحقق من سجلات Snowflake وAmazon S3 بحثًا عن رسائل الخطأ واستكشاف الأخطاء وإصلاحها في حالة وجود أي أخطاء. 

إذا كنت ترغب في أتمتة نقل البيانات من S3 إلى Snowflake، فيمكنك إعداد جدول باستخدام أداة جدولة المهام الخاصة بـ Snowflake أو أداة جدولة تابعة لجهة خارجية. حدد جدولًا لتنفيذ أمر COPY INTO لتحميل البيانات الجديدة من Amazon S3 إلى Snowflake على فترات زمنية محددة. 

قيود النقل اليدوي للبيانات من AWS S3 إلى Snowflake 

قد يبدو تحميل البيانات يدويًا من AWS S3 إلى Snowflake أمرًا بسيطًا ولكن لا يزال به بعض القيود. فيما يلي بعض أهم الأشياء التي يجب أن تعرفها: 

• تكاليف نقل البيانات: يمكن أن يؤدي نقل كميات كبيرة من البيانات من S3 إلى Snowflake إلى زيادة تكاليف نقل البيانات بسرعة. يمكن أن تتراكم هذه التكاليف بمرور الوقت وتصبح باهظة الثمن. 
• شبكة الكمون: يمكن أن يؤثر زمن استجابة الشبكة على سرعات نقل البيانات في S3 – نقل ندفة الثلج. يعتمد هذا بشكل أساسي على المسافة الجغرافية بين مثيل Snowflake الخاص بك ومنطقة AWS مع حاوية S3 الخاصة بك واتصالك بالشبكة. 
• حماية البيانات: يقدم كل من AWS وSnowflake آليات لضمان النقل الآمن للبيانات، مثل أدوار IAM وتشفير HTTPS. ومع ذلك، قد تؤدي البروتوكولات أو الثغرات التي تم تكوينها بشكل خاطئ في أساليب الأمان إلى كشف المعلومات السرية أثناء النقل. 
• توافق تنسيق البيانات: يدعم Snowflake تنسيقات مثل JSON وCSV وAvro وParquet. ومع ذلك، قد تواجه مشاكل إذا كانت بيانات S3 الخاصة بك بتنسيق لا يدعمه Snowflake بشكل مباشر - وهذا سيتطلب معالجة مسبقة للبيانات أو تحويلها قبل التحميل. 
• قابلية التوسع والتزامن: تم تجهيز Snowflake بميزات قوية للتزامن وقابلية التوسع. ومع ذلك، فمن الأفضل تحسين عمليات تحميل البيانات وتخصيص الموارد للتخفيف من اختناقات الأداء وتحميل البيانات البطيء والخدمات المعطلة. 
• معالجة الأخطاء ومراقبتها: تكون عمليات تحميل البيانات عرضة للأخطاء بسبب مشكلات في الشبكة، أو عدم توافق تنسيق البيانات، أو عدم وجود الأذونات المطلوبة. سيتعين عليك تنفيذ آليات شاملة لمعالجة الأخطاء لتحديد مثل هذه المشكلات والتخفيف منها على الفور. 
• التدقيق المطلوب: استنادًا إلى طبيعة بياناتك والمتطلبات التنظيمية المعمول بها، ضمان الامتثال لمعايير إدارة البيانات مثل اللائحة العامة لحماية البيانات (GDPR)، وقانون قابلية نقل التأمين الصحي والمساءلة (HIPAA)، ومعيار أمان بيانات صناعة بطاقات الدفع (PCI DSS) يمكن أن يتطلب جهدًا كبيرًا من جانبك. 

نقل البيانات تلقائيًا من AWS S3 إلى Snowflake باستخدام Astera 

1. تصفح الملفات السحابية

أولا ، لاحظ ذلك لصحتك! يمكن تصفح الملفات السحابية في مصدر Excel أو أي مصدر ملف آخر فيه Astera. 

2. إعداد الاتصالات السحابية

اختيار "تصفح الملفات السحابية' سوف يستغرق الخيار لصحتك! إلى المتصفح حيث لصحتك! يمكن إعداد الاتصالات السحابية. هنا، لصحتك! يمكن إعداد Amazon S3 عن طريق تحديد "إضافة اتصال جديد' وإدخال بيانات الاعتماد، كما هو موضح أدناه. 

3. اختيار الملف الصحيح

المقبل، عليك اختر الملف لصحتك! تريد الوصول إلى AWS S3. 

سيظهر الملف المحدد في مسار الملف المصدر كما يلي: 

4. تحقق من تخطيط الملف

متى لصحتك! تحقق من تخطيط الملف في Astera, هذه هي الطريقة أنه سوف تظهر: 

بمجرد تكوينه، سيبدو الكائن المصدر كما يلي: 

5. إعداد ندفة الثلج

المقبل، عليك قم بإعداد Snowflake عن طريق تكوين a وجهة قاعدة البيانات كائن ببيانات اعتماد Snowflake: 

جنبا إلى جنب مع اتصال ندفة الثلج، لصحتك! يمكن اختياريًا تكوين منطقة التدريج. في الصورة أدناه، ال حاوية Amazon S3 يخدم كمنطقة انطلاق. 

أنت لقد قمنا الآن بتكوين Snowflake ككائن الوجهة و Dسوف تظهر ataflow كما ظاهر أدناه: 

6. رسم الخرائط ومعاينة المخرجات وتشغيل تدفق البيانات

المقبل، عليك إنشاء تعيينات من كائن المصدر (س3) إلى كائن الوجهة (ندفة الثلج): 

'معاينة الناتج' ل كائن الوجهة سيبدو هكذا: 

واخيرا متى لصحتك! قم بتشغيل تدفق البيانات باستخدام "ابدأ تدفق البيانات' ومن ثم زر Astera سوف يكتب البيانات إلى الوجهة، ويكمل S3 لنقل بيانات Snowflake. 

دليل S3 لعمليات نقل بيانات Snowflake مقابل عمليات النقل التلقائية في Astera 

كما هو موضح أعلاه، يعد إعداد عمليات نقل بيانات S3 يدويًا إلى Snowflake خيارًا صالحًا. ومع ذلك، يمكن أن تكون العملية معقدة، خاصة بالنسبة للمستخدمين غير التقنيين. للتلخيص، هذه هي الخطوات المتبعة: 

• إعداد دلو S3 
• إنشاء دور IAM 
• إنشاء المرحلة الخارجية في Snowflake 
• إعداد مخطط الجدول وإنشاء جدول في Snowflake 
• إنشاء كائن تكامل ندفة الثلج 
• تحميل البيانات من S3 إلى جدول Snowflake باستخدام الأمر COPY INTO 
• مراقبة عملية نقل البيانات واستكشاف الأخطاء وإصلاحها حسب الحاجة 

فى المقابل، Astera يعمل على تبسيط عمليات نقل البيانات من S3 إلى Snowflake من خلال واجهته البديهية ووظيفة السحب والإفلات وسهولة الاستخدام. فهو يتيح لك إنشاء عمليات نقل البيانات وأتمتتها بسهولة ببضع نقرات، بغض النظر عن كفاءتك التقنية. 

وفي الختام 

Astera يبسط إدارة البيانات الشاملة لمجموعة من الصناعات. قوية، حل جاهز للمؤسسات يتيح لك تصميم خطوط أنابيب S3 إلى Snowflake ونشرها وأتمتتها - دون الحاجة لأي تعليمات برمجية. 

اكتشف كيف يمكنك استخدام Astera لتحويل عمليات نقل البيانات الخاصة بك. تواصل مع فريقنا or ابدأ تجربتك المجانية اليوم!