→ مسرد التكنولوجيا الماليةالذكاء الاصطناعي

مخزن المتجهات

مخزن المتجهات هو قاعدة بيانات متخصصة أو نظام تخزين مصمم لتخزين واسترجاع التضمينات المتجهية وهي تمثيلات رقمية للبيانات تم إنشاؤها بواسطة نماذج التضمين. على عكس قواعد البيانات التقليدية التي تنظم البيانات حسب التطابقات التامة أو نطاقات القيم، تنظم مخازن المتجهات البيانات حسب التشابه الدلالي مما يتيح استرجاعًا سريعًا للعناصر المشابهة من الناحية المفاهيمية لمتجه الاستعلام. العملية الأساسية في مخزن المتجهات هي بحث التشابه الذي يجد أقرب الجيران k لمتجه استعلام معين باستخدام مقاييس المسافة مثل تشابه جيب التمام أو المسافة الإقليدية أو الضرب النقطي. لجعل هذا البحث فعالاً على نطاق واسع، تستخدم مخازن المتجهات خوارزميات التقريب لأقرب جيران والتي تتبادل كمية صغيرة من الدقة مقابل تحسينات هائلة في السرعة. تشمل خوارزميات التقريب لأقرب جيران الشائعة HNSW و IVF و quantization المنتج. تخزن مخازن المتجهات ليس فقط التضمينات ولكن أيضًا المحتوى الأصلي والبيانات الوصفية مما يسمح للتطبيقات باسترجاع كل من المتجه والنص أو البيانات المرتبطة. تدعم التصفية المستندة إلى البيانات الوصفية مما يتيح استعلامات هجينة تجمع بين البحث الدلالي والمرشحات الهيكلية مثل نطاقات التاريخ أو أنواع المستندات أو أذونات الوصول. توفر مخازن المتجهات الحديثة أيضًا قدرات بحث هجينة تجمع بين تشابه المتجهات الكثيفة ومطابقة الكلمات الرئيسية المتناثرة مما يوفر أفضل ما في البحث الدلالي والمعجمي. مخازن المتجهات هي العمود الفقري لأنظمة RAG حيث تغذي مرحلة الاسترجاع التي تجد المستندات ذات الصلة لنموذج اللغة الكبير لتوليد ردود مستندة. تستخدم أيضًا في أنظمة التوصية واكتشاف الحالات الشاذة والتخزين المؤقت الدلالي. يعتمد اختيار مخزن المتجهات على عوامل مثل الحجم ومتطلبات زمن الاستجابة واحتياجات إقامة البيانات والتعقيد التشغيلي.

في الخدمات المالية

في الخدمات المالية، تعتبر مخازن المتجهات مكون البنية التحتية الحرج الذي يتيح البحث الدلالي عبر مستودعات المستندات الواسعة. تستخدم البنوك ومديرو الأصول مخازن المتجهات لتغذية أنظمة RAG التي تسترجع المعلومات من ملايين المستندات في أجزاء من الثانية. يجب أن يتعامل مخزن المتجهات مع حجم وتعقيد البيانات المالية بما في ذلك المستندات بعدة لغات وتنسيقات متنوعة وأذونات وصول متفاوتة. لدى المؤسسات المالية عادة متطلبات صارمة لإقامة البيانات تحدد أين يمكن نشر مخزن المتجهات، بعضها يتطلب النشر في الموقع بينما يسمح البعض الآخر بالنشر السحابي مع ضمانات محددة لحماية البيانات. أدى ذلك إلى اعتماد مخازن المتجهات التي تدعم نماذج النشر المختلطة بما في ذلك Qdrant للنشر في الموقع و Pinecone للسحابة مع امتثال SOC 2. يجب أن يدعم مخزن المتجهات أيضًا متطلبات الأمان والتحكم في الوصول للمؤسسات المالية بما في ذلك التحكم في الوصول المستند إلى الأدوار والأذونات على مستوى المستندات والتشفير أثناء التخزين والنقل. يعتبر تسجيل التدقيق ضروريًا لتتبع من قام بالوصول إلى أي مستندات ومتى مما يدعم الامتثال التنظيمي والتحقيقات الداخلية. تحتاج المؤسسات المالية أيضًا إلى مخازن متجهات يمكنها التعامل مع الخصائص المحددة للتضمينات المالية. تنتج نماذج التضمين الخاصة بالتمويل مثل Voyage Finance-2 تضمينات ذات أبعاد أعلى قد تتطلب تكوينات فهرس متخصصة. يجب أن يدعم مخزن المتجهات أيضًا أحجام الاستعلام العالية النموذجية للمؤسسات المالية حيث تعالج بعض الأنظمة ملايين الاستعلامات يوميًا خلال ساعات التداول القصوى. متطلبات زمن الاستجابة صارمة بشكل خاص للتطبيقات في الوقت الفعلي مثل مراقبة التداول واكتشاف الاحتيال حيث يكون الاسترجاع بأقل من 100 مللي ثانية ضروريًا.

مثال واقعي

يقوم بنك استثماري أوروبي بنشر Pinecone كمخزن متجهات لنظام RAG يخدم 5,000 محلل مالي عالميًا. يقوم النظام بفهرسة 2 مليون مستند بما في ذلك تقارير أبحاث الأسهم وإيداعات هيئة الأوراق المالية ونصوص مكالمات الأرباح والأبحاث الاقتصادية. يخزن مخزن المتجهات تضمينات ذات 1536 بعدًا من Voyage Finance-2 باستخدام فهرسة HNSW مع 10 مليون متجه لكل عقدة. يحقق النظام متوسط زمن استجابة للاستعلام يبلغ 50 مللي ثانية للبحث الدلالي عبر المجموعة بأكملها مع توفر بنسبة 99.9٪. تنفذ البنك تصفية البيانات الوصفية للتحكم في الوصول مما يضمن أن المحللين يمكنهم فقط استرجاع المستندات من قطاعاتهم ومناطقهم المصرح بها. يعالج النظام 500,000 استعلام يوميًا خلال فترات الذروة مع توسع تلقائي للتعامل مع ارتفاعات جلسات التداول. تشير البنك إلى أن مخزن المتجهات قلل وقت استرجاع المستندات من متوسط 30 دقيقة باستخدام البحث اليدوي إلى أقل من ثانية واحدة باستخدام البحث الدلالي مما يحسن بشكل كبير إنتاجية المحللين.

لماذا يهم في التمويل

مخازن المتجهات هي التقنية التمكينية التي تجعل البحث الدلالي عمليًا على النطاق المطلوب من قبل المؤسسات المالية. بدون مخازن المتجهات، ستحتاج أنظمة الذكاء الاصطناعي إلى مسح كل مستند لكل استعلام وهو أمر مكلف حسابيًا لملايين المستندات. كفاءة خوارزميات التقريب لأقرب جيران في مخازن المتجهات تجعل من الممكن البحث في ملايين المستندات في أجزاء من الثانية مما يتيح تطبيقات الذكاء الاصطناعي في الوقت الفعلي التي قد تكون مستحيلة بخلاف ذلك. بالنسبة للمؤسسات المالية، يعتبر مخزن المتجهات غالبًا قرار البنية التحتية الأكثر أهمية في مجموعة الذكاء الاصطناعي الخاصة بهم لأنه يحدد بشكل مباشر سرعة ودقة وقابلية توسع أنظمة RAG الخاصة بهم.