الاسترجاع الكثيف

الاسترجاع الكثيف هو نهج بحث يستخدم التضمينات المتجهية الكثيفة وهي تمثيلات رقمية مستمرة تم إنشاؤها بواسطة الشبكات العصبية للعثور على مستندات أو مقاطع متشابهة دلاليًا. على عكس البحث التقليدي القائم على الكلمات الرئيسية الذي يعتمد على مطابقة المصطلحات الدقيقة، يلتقط الاسترجاع الكثيف المعنى والسياق للاستعلام والمستندات مما يتيح استرجاع النتائج ذات الصلة حتى عند استخدام مصطلحات مختلفة عن الاستعلام. تعمل العملية عن طريق ترميز كل من الاستعلام والمستندات إلى متجهات كثيفة باستخدام نموذج تضمين ثم إجراء بحث تشابه للعثور على أقرب الجيران في فضاء التضمين. نماذج الاسترجاع الكثيف عادة ما تكون قائمة على المحولات ومدربة على مجموعات كبيرة من أزواج الاستعلام والمستندات لتعلم العلاقات الدلالية. الميزة الرئيسية للاسترجاع الكثيف هي قدرته على التعامل مع الترادف وإعادة الصياغة والتشابه المفاهيمي. على سبيل المثال، يمكن لاستعلام عن 'أرباح الشركات' استرجاع مستندات تذكر 'أرباح المؤسسات' أو 'النتائج الفصلية' لأن نموذج التضمين تعلم أن هذه المفاهيم مرتبطة دلاليًا. يتعامل الاسترجاع الكثيف أيضًا بشكل جيد مع عدم تطابق المفردات حيث سيجد استعلام عن 'مصنعي السيارات' مستندات عن 'صانعي السيارات' حتى لو لم يشتركوا في أي مصطلحات مشتركة. تعتمد جودة الاسترجاع الكثيف بشكل كبير على نموذج التضمين المستخدم. النماذج العامة مثل text-embedding-3-small من OpenAI أو النماذج القائمة على BERT تعمل بشكل جيد للعديد من المجالات ولكن النماذج الخاصة بالمجال المدربة على النص المالي تنتج عادة نتائج أفضل للاستعلامات المالية. يتم تنفيذ الاسترجاع الكثيف عادة باستخدام بحث التقريب لأقرب جيران في قواعد البيانات المتجهية مع تقنيات مثل HNSW و IVF التي تمكن أوقات بحث أقل من 100 مللي ثانية عبر ملايين المستندات. المفاضلة مع الاسترجاع الكثيف هي أنه يتطلب موارد حسابية أكثر من الطرق المتناثرة لكل من الفهرسة والاستعلام وقد يفوت التطابقات الدقيقة التي قد يجدها البحث بالكلمات الرئيسية.