استخراج المعلومات باستخدام معالجة اللغة الطبيعية (NLP)

يعود أصل استخراج المعلومات إلى التطور المبكر لمعالجة اللغة الطبيعية والذكاء الاصطناعي، عندما كان التركيز لا يزال على الأنظمة القائمة على القواعد والتي تعتمد على تعليمات لغوية يدوية الصنع لاستخراج معلومات محددة من النص. وبمرور الوقت، تحولت المنظمات إلى تقنيات مثل التعلم العميق والشبكات العصبية المتكررة لتحسين دقة أنظمة استخراج المعلومات. واليوم، تتضمن معظم تطبيقات معالجة اللغة الطبيعية استخراج المعلومات كمكون مهم، وتستخدم المنظمات نماذج وأطر عمل متقدمة للذكاء الاصطناعي والتعلم الآلي، مثل التوليد المعزز بالاسترجاع، لتعزيز التحسينات.

في هذه المقالة، سنتحدث عن استخراج المعلومات مع التركيز بشكل خاص على معالجة اللغة الطبيعية وتوليد البيانات المعززة بالاسترجاع.

ما هو استخراج المعلومات؟

استخراج المعلومات هو عملية استخراج البيانات المنظمة المطلوبة من مصادر البيانات النصية غير المنظمة أو شبه المنظمة، مثل مستندات PDF، ومحتوى الويب، والمحتوى الناتج عن الذكاء الاصطناعي/نموذج اللغة الكبير (LLM)، وما إلى ذلك. 

مثال 

فيما يلي مثال يوضح نوع البيانات التي يمكنك توقع استخراجها باستخدام نظام استخراج المعلومات:

مقتطف من المقال الإخباري:

"أعلنت شركة أبل عن إطلاق هاتف آيفون 15 في 12 سبتمبر 2023. وصرح تيم كوك الرئيس التنفيذي للشركة أن الهاتف الجديد سيحتوي على شريحة أسرع وتقنية كاميرا محسنة."

المعلومات المستخرجة:

• الكيان (المنظمة): Apple
• الكيان (الشخص): تيم كوك (الرئيس التنفيذي)
• الحدث (إطلاق المنتج): iPhone 15
• التسجيل: سبتمبر 12، 2023

يوضح هذا المثال نقاط البيانات الرئيسية المستخرجة من المصدر (مقتطف إخباري). حدد النظام كيانين، "Apple Inc." (المنظمة) و"Tim Cook" (الشخص). كما استخرج الحدث "إطلاق iPhone 15" مع التاريخ "12 سبتمبر 2023". يمكن بعد ذلك استخدام المعلومات المستخرجة حسب الحاجة، على سبيل المثال، لتحديث قواعد البيانات أو إنشاء ملخصات أو نقاط بارزة.

استخراج البيانات من أي نوع من المستندات باستخدام Asteraحل IDP المدعوم بالذكاء الاصطناعي من 's

Asteraيتيح لك حل معالجة المستندات الذكية (IDP) من شركة 'استخراج المعلومات الرئيسية المحاصرة في المستندات غير المنظمة. سواء كانت فواتير أو أوامر شراء أو نماذج مطالبات أو مستندات ضريبية أو سجلات طبية أو مستندات قانونية مفصلة، Astera الذكاء يخدم الجميع.

معرفة المزيد

أين يقع معالجة اللغة الطبيعية (NLP)؟

معالجة اللغة الطبيعية (NLP) هي فرع من فروع الذكاء الاصطناعي الذي يسهل التفاعل بين البشر وأجهزة الكمبيوتر، بما في ذلك الآلات الأخرى. بدلاً من استخدام الاستعلامات المعقدة أو أسطر التعليمات البرمجية، يمكنك حديث قم بتدريب أنظمتك باللغة الإنجليزية البسيطة وأعطيهم تعليمات بما يجب عليهم فعله، بما في ذلك طلب معلومات محددة من مصدر البيانات.

وفقا لـ Statista تقرير رؤى السوقمن المتوقع أن يرتفع حجم سوق معالجة اللغة الطبيعية القائمة على النصوص من 8.21 مليار دولار أمريكي في عام 2024 إلى 33.04 مليار دولار أمريكي في عام 2030. ويسلط النمو المتوقع الضوء على اتجاهات مهمة:

• زيادة الطلب عبر الصناعات
• التطورات في نماذج الذكاء الاصطناعي وقدرات معالجة اللغة الطبيعية
• الأهمية المتزايدة للبرمجة اللغوية العصبية القائمة على النصوص

نظرًا لأن IE يتضمن استخراج بيانات منظمة من نص غير منظم، فإن تقنيات معالجة اللغة الطبيعية تسمح للآلات بتحليل وفهم اللغة البشرية ومعالجة النص بشكل مفيد. لذا، عندما يمكنك ببساطة أن تقول شيئًا مثل "قدم أسماء جميع الموظفين الذين تزيد أعمارهم عن 40 عامًا"، فلماذا تلجأ إلى شيء مثل "SELECT name, age FROM employees WHERE age > 40" لاستخراج المعلومات التي تحتاجها؟

تلعب تقنية معالجة اللغة الطبيعية دورًا أساسيًا في استخراج المعلومات. وبالتالي، يمكنها تعزيز، بل وحتى استبدال، العديد من الطرق التقليدية للتفاعل مع الآلات لاستخراج المعلومات:

استخراج المعلومات يدويا من النص

إن قراءة النصوص وتحليلها لاستخراج المعلومات المطلوبة، مثل الأسماء أو التواريخ، من المستندات أو رسائل البريد الإلكتروني دون وجود مساعد الذكاء الاصطناعي إلى جانبك لم يعد أمرًا مستدامًا، حتى في الأمد القريب. ويتضح هذا التقادم بشكل أكثر وضوحًا في الصناعات مثل القانون والرعاية الصحية حيث يعد الوصول في الوقت المناسب إلى البيانات ذات الصلة أمرًا بالغ الأهمية. أدوات استخراج المعلومات المدعومة بالذكاء الاصطناعي بفضل إمكانات معالجة اللغة الطبيعية المدمجة، لا يمكنك أتمتة العملية فحسب، بل يمكنك أيضًا تقديم معلومات دقيقة عندما تكون هناك حاجة إليها.

استعلامات البحث (البحث المعتمد على الكلمات الرئيسية)

تعتمد محركات البحث التقليدية بشكل كبير على تطابقات الكلمات الرئيسية الدقيقة، مما يؤدي غالبًا إلى إنتاج نتائج غير ذات صلة إذا لم يتم استخدام الكلمات الرئيسية الدقيقة. البحث باللغة الطبيعية (NLS) وقدرات البحث الدلالي، تمكن تقنية معالجة اللغة الطبيعية الأنظمة من فهم ال سياق الكلام نية لكي تحصل على نتائج ذات صلة.

سطر الأوامر وواجهات المستخدم الرسومية

مع واجهة سطر الأوامر النموذجية (CLI)، تحتاج إلى أوامر محددة لأداء مهام مثل التنقل عبر الملفات أو استخراج المعلومات. وعلى نحو مماثل، تتيح لك واجهة المستخدم الرسومية (GUI) التفاعل مع أجهزة الكمبيوتر عبر الأيقونات والأزرار والقوائم المنسدلة. ومع ذلك، تصبح كلتا الطريقتين مرهقتين مع مجموعات البيانات المعقدة والكبيرة. باستخدام الإجابة على الأسئلة القائمة على اللغة الطبيعية، يمكنك تبسيط هذه العمليات إلى الحد الذي يسمح حتى لمستخدمي الأعمال بالعمل مع البيانات.

كيف يعمل استخراج المعلومات من خلال معالجة اللغة الطبيعية (NLP)؟

تتضمن عملية استخراج المعلومات من نص غير منظم عدة خطوات وتستفيد من تقنيات معالجة اللغة الطبيعية المتعددة. وفي حين أن سير العمل الفعلي يعتمد على نوع مصدر المستند والمعلومات التي تحتاج إلى استخراجها، فإن العملية الإجمالية هي نفسها إلى حد كبير:

معالجة النص

قبل استخراج أي نقاط بيانات، ستحتاج إلى تنظيف النص المصدر وتقسيمه إلى مكوناته الأساسية. يحدث هذا عبر التجزئة، والتي تعد في خط أنابيب معالجة اللغة الطبيعية تقنية لتقسيم البيانات غير المنظمة إلى أجزاء أصغر أو عناصر منفصلة لتبسيط التحليل الآلي. هناك عدة طرق لتجزئة النص المصدر.

استمرارًا لمثال مقتطف من مقالة أخبار iPhone 15 التي ناقشناها أعلاه، فإن الجملة "أعلنت شركة أبل عن إطلاق هاتف آيفون 15 في 12 سبتمبر 2023" يتم تمييزه على النحو التالي:

['أبل'، 'أعلنت'، 'الإطلاق'، 'آيفون'، '15'، 'في'، 'سبتمبر'، '12'، '2023']

بعد ذلك، تتم إزالة الكلمات الشائعة مثل "the" أو "of" كجزء من وقف إزالة الكلمات لأنها ليست ذات معنى ولا تحمل معلومات مفيدة. لتقليل الاختلافات بين الكلمات، يتم تحويلها إلى أشكالها الجذرية، على سبيل المثال، تصبح كلمة "announced" "announce". وهذا ما يسمى بالتحويل إلى معجم.

وسم أجزاء الكلام (POS)

الخطوة التالية في سير عمل استخراج المعلومات من خلال معالجة اللغة الطبيعية هي تعيين جزء من الكلام (POS) لكل رمز، أي ما إذا كان الرمز اسمًا أو فعلًا أو صفة وما إلى ذلك. يتيح وسم جزء من الكلام للآلة فهم المعنى النحوي لكل كلمة. على سبيل المثال:

أبل (اسم)، أعلنت (فعل)، إطلاق (اسم)، آيفون (اسم)، 15 (عدد)، 12 سبتمبر 2023 (تاريخ)

التعرف على الكيان المحدد (NER)

NER هو المكان الذي يحدد فيه النظام الكيانات المهمة ويصنفها بناءً على السياق الذي تظهر فيه في النص باستخدام قوائم محددة مسبقًا ونماذج التعلم الآلي. على سبيل المثال، من الجملة "أعلنت شركة Apple عن iPhone 15 في 12 سبتمبر 2023،" ستستخرج تقنية NER ما يلي:

• شركة أبل (ORG)
• آيفون 15 (PROD)
• 12 سبتمبر 2023 (التاريخ)

تحليل التبعية

يتيح تحليل التبعيات لخط الأنابيب تحديد العلاقات النحوية بين الكلمات في الجملة. يعد إنشاء هذه العلاقات أمرًا مهمًا للنظام لفهم ما حدث، ومتى، وأين، ومن قبل من، ولمن.

"أعلنت شركة Apple (الفاعل) (الفعل) عن iPhone 15 (المفعول به) في 12 سبتمبر 2023."

استخراج العلاقة

الآن بعد أن أصبح لدى النظام فكرة جيدة عن الكيانات والعلاقات النحوية، فإنه يستخدم تقنية استخراج العلاقات لتحديد العلاقات بين الكيانات. تعتمد عملية استخراج العلاقات نفسها على مجموعة من نماذج التعلم الآلي لاكتشاف مثل هذه العلاقات. يمكن أن يكون أحد الأمثلة على العلاقات بين الكيانات:

• بالنسبة للكيانين iPhone 15 (PROD) وApple (ORG)، يمكن تعريف العلاقة بـ "Manufactured-by"، مما يربط iPhone 15 بشركة Apple. يشير هذا إلى أن شركة Apple مسؤولة عن تصنيع iPhone 15.

استخراج الحدث

لكي يفهم النظام الكيانات والعلاقات ويربطها في حدث متماسك، يجب عليه تحديد الأفعال والأحداث في النص المصدر. على سبيل المثال، في الجملة "أعلنت شركة Apple عن iPhone 15 في 12 سبتمبر 2023"، يكون الحدث هو طرح المنتج من iPhone 15. لذا، فهو يحدد المكونات التالية ويصنف نوع الحدث (إطلاق المنتج):

• الموضوع (من): أبل
• الفعل (ماذا): تم الإعلان عنه
• الغرض (ما): iPhone 15
• التاريخ (متى): 12 سبتمبر 2023

ملء القالب

بمجرد أن يستخرج خط الأنابيب جميع الكيانات والعلاقات والأحداث ذات الصلة، فإنه ينظم المعلومات ويقدمها بتنسيق منظم. في هذه الحالة، ستبدو المعلومات المستخرجة على النحو التالي:

• الحدث: إطلاق المنتج
• المنظمة: أبل
• المنتج: آيفون 15
• التسجيل: سبتمبر 12، 2023

دور معالجة اللغة الطبيعية في معالجة المستندات الذكية (IDP)

تعزيز البرمجة اللغوية العصبية معالجة المستندات الذكية (IDP) من خلال تمكين الآلات من تحليل وفهم النص في المستندات حتى تتمكن من استخلاص رؤى قابلة للتنفيذ من البيانات غير المنظمة. تتضمن الوظائف الرئيسية لمعالجة اللغة الطبيعية في IDP ما يلي:

• فهم الوثيقة
• استخراج المعلومات
• تصنيف الوثيقة
• إثراء البيانات
• تلخيص

تستخدم المنظمات في مختلف القطاعات تقنية معالجة اللغة الطبيعية (NLP) لتعزيز قدرات معالجة المستندات لديها. وفيما يلي بعض التطبيقات البارزة:

معالجة الفواتير

تلقائيا استخراج المعلومات ذات الصلة من الفواتير، مثل أسماء البائعين والمبالغ وتواريخ الاستحقاق وتبسيط عمليات الحسابات المستحقة الدفع.

تحليل العقد

لتحديد البنود والالتزامات والشروط الرئيسية في وثائق قانونية وتمكين الامتثال وإدارة المخاطر بشكل أفضل.

معالجة البريد الإلكتروني

لاستخراج معلومات قابلة للتنفيذ من رسائل البريد الإلكتروني الواردة.

تُترجم هذه الوظائف والتطبيقات إلى فوائد تجارية لا يمكن إنكارها:

زيادة الكفاءة

يؤدي أتمتة استخراج المعلومات ومعالجتها من مجموعة متنوعة من المستندات إلى توفير الوقت وتقليل الجهد اليدوي.

دقة محسنة

تعمل تقنيات معالجة اللغة الطبيعية المتقدمة، مثل NER وOCR وتصنيف النصوص، على تعزيز دقة استخراج المعلومات والنتائج الإجمالية جودة البيانات.

التوسعة

يمكن لخطوط أنابيب معالجة اللغة الطبيعية التعامل مع كميات كبيرة من المستندات بوتيرة متسارعة.

ماذا عن الاسترجاع المعزز بالاسترجاع (RAG)؟

التوليد المعزز بالاسترداد (RAG) هو إطار عمل للذكاء الاصطناعي يجمع بين استرجاع المعلومات من قواعد المعرفة الخارجية أو قواعد البيانات مع إنشاء النصوص باستخدام نموذج لغوي كبير (LLM). إنه نهج لتحسين فهم اللغة الطبيعية (NLU) ومهام إنشاء اللغة الطبيعية (NLG)، وخاصة في مجالات مثل الإجابة على الأسئلة والذكاء الاصطناعي المحادثي.

في حين تركز تقنية معالجة اللغة الطبيعية (NLP) في المقام الأول على فهم ومعالجة النص داخل المستندات، تعمل تقنية RAG على تعزيز استخراج المعلومات من خلال دمج مصادر البيانات الخارجية وتوفير قدرات استخراج مستنيرة سياقيًا، بما في ذلك:

• استكمال الحقائق عن طريق ملء المعلومات المفقودة
• إثراء البيانات المستخرجة بسياق إضافي لتحقيق الدقة السياقية
• استخدام المعرفة الخارجية للكشف عن الكيانات وربطها بشكل صحيح

استخدام RAG لمعالجة المستندات الذكية (IDP)

إن استخدام RAG لمعالجة المستندات الذكية (IDP) يمكن أن يساعد مؤسستك على تحسين قدراتها في التعامل مع المستندات. وهو أمر ذو قيمة خاصة في الصناعات التي تتعامل مع أحجام كبيرة من المستندات حيث تكون الدقة والسياق أمرًا بالغ الأهمية، مثل التمويل والقانون والرعاية الصحية.

دعنا نأخذ سيناريو مثالاً لفهم كيفية استخدام RAG لـ استخراج المعلومات من الوثائق، مثل قاعدة المعرفة الخاصة بالشركة أو الوثائق الداخلية.

افترض أن مؤسستك تحتاج إلى معالجة عدد كبير من الفواتير لاستخراج المعلومات الرئيسية للتحليل المالي وإعداد التقارير.

وثيقة الإدخال

تحتوي الفاتورة من المورد على:

"رقم الفاتورة: INV-12345، المبلغ الإجمالي: 10,000 دولار، تاريخ الاستحقاق: 2024-12-01."

عملية RAG

استرجاع:

يسترجع خط أنابيب RAG المعلومات ذات الصلة من قاعدة بيانات داخلية (على سبيل المثال، ملفات تعريف البائعين وسجل الدفع). على سبيل المثال، يسترجع اسم البائع "ABC Supplies" وشروط الدفع المرتبطة بالفاتورة (على سبيل المثال، 30 يومًا صافيًا).

توليد:

يقوم النموذج التوليدي بتلخيص هذه المعلومات، ودمج التفاصيل المسترجعة في البيانات المستخرجة.

الناتج

هذا هو الشكل الذي يمكن أن يبدو عليه الناتج المنظم النهائي الخاص بك:

• رقم الفاتورة:INV-12345
• اسم البائع:إمدادات ABC
• المبلغ الإجمالي: $ شنومكس
• تاريخ التسليم: 2024-12-01
• شروط الدفع:صافي 30 يوما

معالجة اللغة الطبيعية المحسنة بواسطة RAG لمعالجة المستندات الذكية (IDP) 

إن معالجة اللغة الطبيعية التقليدية ممتازة لمهام معالجة الهوية الأساسية: استخراج حقل النموذج، واستخراج الكيان، وتصنيف النص، وتحليل المشاعر. وهي تعمل بشكل جيد مع المستندات المنظمة التي تتبع تنسيقًا ثابتًا مثل الفواتير، حيث تقل الحاجة إلى الفهم السياقي العميق. من ناحية أخرى، تجمع معالجة اللغة الطبيعية المعززة بواسطة RAG بين معالجة الهوية التقليدية القائمة على معالجة اللغة الطبيعية وآليات الاسترجاع لاستخراج المعلومات ذات الصلة بالسياق من قواعد المعرفة والمصادر الخارجية.

عند الاختيار بين معالجة اللغة الطبيعية التقليدية ومعالجة اللغة الطبيعية المحسنة بواسطة RAG لـ IDP، يجب أن يأخذ قرارك في الاعتبار ما يلي:

• حالة الاستخدام الخاصة بك
• متطلبات المعالجة
• تعقيد الوثائق
• النتائج التي تهدف إلى تحقيقها 

اختر البرمجة اللغوية العصبية عندما:

• تحتاج إلى أتمتة معالجة المستندات الروتينية المهام المحددة مسبقًا استخراج البيانات المتطلبات. 
• تتطلب معرفة بسيطة بمجال محدد لفهم محتوى المستند وتصنيفه. 
• تركز أعمالك بشكل أساسي على استخراج المعلومات المنظمة وتصنيف المستندات. 
• لديك مجموعة محددة جيدًا من المستندات التي لا تتطلب فهمًا سياقيًا واسع النطاق.

اختر معالجة اللغة الطبيعية المحسنة بواسطة RAG عندما:

• تتطلب استخراج معلومات أكثر وعياً بالسياق مع الأخذ في الاعتبار العلاقات بين نقاط البيانات. 
• مستنداتك ديناميكية، أي أنها تختلف على نطاق واسع في البنية والمحتوى، ويجب أن تكون المعلومات محدثة. 
• أنت تتعامل مع استعلامات معقدة تتطلب إنشاء استجابات شاملة استنادًا إلى مصادر بيانات متعددة. 

سواء اخترت أحدهما أو الآخر، فأنت بحاجة إلى أداة IDP موثوقة لاستخراج المعلومات من مستنداتك - وهذا هو المكان Astera يأتي فيها

قم ببناء خط أنابيب معالجة المستندات الذكي الخاص بك مع Astera ‫رؤيتنا‬ 

Astera يقوم بأتمتة عملية استخراج المعلومات من أنواع مختلفة من المستندات، بما في ذلك الفواتير، ونماذج W-2، وأوامر الشراء، وتقارير الائتمان، والمستندات الطبية، ومستندات الشحن، والمزيد. 

إليك الطريقة Astera ‫رؤيتنا‬ يساعد المنظمات مثل مؤسستك: 

• يتعلم حل الذكاء الاصطناعي الخاص بنا ويتكيف مع تنسيقات المستندات المختلفة وينشئ قوالب تلقائيًا 
• ما عليك سوى تحديد الحقول التي تحتاجها، وسوف يقوم الذكاء الاصطناعي لدينا باستخراج البيانات ذات الصلة بذكاء عبر تنسيقات متعددة 
• التعامل مع تبادل البيانات الإلكترونية والملفات المحددة باستخدام كل من التعيين القائم على القواعد والتعيين المدعوم بالذكاء الاصطناعي 
• البحث عن المعلومات الرئيسية واستخراجها من المستندات في جميع أنحاء مؤسستك 
• استخدم RAG لإجراء عمليات بحث ذكية داخل مستنداتك 
• يتكامل حلنا بسلاسة مع أنظمة إدارة المستندات الحالية لديك 

هل أنت مستعد للحصول على تلك القطعة الأخيرة من التفاصيل من مستنداتك؟ جرّب Astera ‫رؤيتنا‬.