التضمين متعدد الوسائط
التضمين متعدد الوسائط هو تقنية تولد تمثيلات متجهية موحدة للبيانات من وسائط مختلفة، مثل النصوص والصور والصوت والفيديو، وتضعها في فضاء دلالي مشترك حيث تكون مقارنات التشابه عبر الوسائط ممكنة. على عكس نماذج التضمين التقليدية التي تعالج النص فقط، يتم تدريب نماذج التضمين متعددة الوسائط على أزواج أو مجموعات من البيانات من وسائط مختلفة، وتتعلم إسقاط المحتوى المتشابه دلالياً من وسائط مختلفة إلى نقاط قريبة في فضاء التضمين. هذا يتيح قدرات بحث قوية عبر الوسائط، مثل البحث عن الصور باستخدام أوصاف نصية، أو العثور على نص يصف صورة معينة، أو استرجاع مستندات مشابهة دلالياً لرسم بياني أو مخطط. تدريب نماذج التضمين متعددة الوسائط يستخدم عادةً أهداف التعلم التبايني، حيث يتعلم النموذج تعظيم التشابه بين الأزواج المتطابقة من وسائط مختلفة، مثل الصورة وتعليقها، مع تقليل التشابه بين الأزواج غير المتطابقة. نموذج التضمين متعدد الوسائط الأكثر شهرة هو CLIP، الذي طورته OpenAI، والذي يتعلم تضمينات نص-صورة مشتركة من 400 مليون زوج نص-صورة. تتكون بنية نماذج التضمين متعددة الوسائط عادةً من مشفرات منفصلة لكل وسيط، مثل محول رؤية للصور ومحول للنص، مع طبقة إسقاط تضع مخرجات كلا المشفرين في فضاء تضمين مشترك. جودة التضمينات متعددة الوسائط تقاس بالأداء في مهام الاسترجاع عبر الوسائط والتصنيف صفر الطلقة والقدرة على التقاط علاقات دلالية دقيقة عبر الوسائط. التضمينات متعددة الوسائط تزداد أهمية مع توسع تطبيقات الذكاء الاصطناعي إلى ما وراء النص لتشمل الصور والمستندات ذات الرسوم البيانية والمخططات المضمنة والفيديو والمحتوى الصوتي. التحدي الرئيسي في التضمين متعدد الوسائط هو ضمان أن فضاء التضمين المشترك يحافظ على العلاقات الدلالية عبر الوسائط، بحيث يكون الوصف النصي لمفهوم مالي قريباً من التمثيل البصري لذلك المفهوم.
في الخدمات المالية
مثال واقعي
تنشر شركة إدارة أصول عالمية تبلغ أصولها تحت الإدارة 800 مليار دولار نظام تضمين متعدد الوسائط لتغذية البحث عبر الوسائط عبر مستودع مستندات الأبحاث الخاص بها. يحتوي مستودع الشركة على حوالي 1.5 مليون مستند، بما في ذلك تقارير أبحاث الأسهم وتحليلات الدخل الثابت والتعليقات الاقتصادية الكلية وعروض الأرباح الربع سنوية، وكلها تحتوي على مزيج من النصوص والرسوم البيانية والمخططات والجداول. تقوم الشركة بفهرسة المستودع بأكمله باستخدام نموذج تضمين متعدد الوسائط يولد تضمينات ذات 768 بعداً لكل جزء من المستند، مع تضمينات منفصلة ولكن متوافقة للنص والمحتوى المرئي. مدير محفظة متخصص في قطاع الطاقة يستعد لاجتماع لجنة الاستثمار ويحتاج إلى فهم اتجاهات الإنفاق الرأسمالي لشركات النفط والغاز الكبرى على مدى السنوات الخمس الماضية. يقدم مدير المحفظة استعلاماً نصياً: 'أظهر لي الرسوم البيانية لاتجاه الإنفاق الرأسمالي لشركات النفط والغاز الكبرى، مع مقارنة إنفاق الاستكشاف والإنتاج مقابل الاستثمار في الطاقة المتجددة، من 2021 إلى 2025.' يحسب نظام التضمين متعدد الوسائط تضمين هذا الاستعلام ويبحث في تضمينات جميع المحتوى المرئي في المستودع، بما في ذلك الرسوم البيانية والمخططات والجداول. يستعيد النظام الرسوم البيانية ذات الصلة من 47 مستنداً مختلفاً، بما في ذلك رسوم بيانية من عروض أرباح الشركات وتقارير أبحاث الأسهم ومنشورات الصناعة. يستعيد النظام أيضاً أقساماً نصية تحتوي على تحليلات ذات صلة لاتجاهات الإنفاق الرأسمالي. البحث الذي كان سيستغرق ساعات باستخدام البحث بالكلمات المفتاحية التقليدية أو المراجعة اليدوية، يكتمل في أقل من 3 ثوانٍ. يحدد مدير المحفظة اتجاهاً رئيسياً: بينما زادت شركات النفط الأوروبية الكبرى بشكل كبير إنفاقها الرأسمالي على الطاقة المتجددة كنسبة مئوية من إجمالي الإنفاق، حافظت الشركات الأمريكية على تركيز أقوى على الإنفاق التقليدي على الاستكشاف والإنتاج.
لماذا يهم في التمويل
التضمين متعدد الوسائط يمثل تقدماً كبيراً في قدرة أنظمة الذكاء الاصطناعي على فهم والبحث عبر أنواع المحتوى المتنوعة التي تميز المستندات والاتصالات المالية. يعمل المحترفون الماليون مع مزيج غني من النصوص والرسوم البيانية والمخططات والجداول والصور ومحتوى الفيديو والصوت بشكل متزايد، والقدرة على البحث والتحليل عبر كل هذه الوسائط من واجهة واحدة تحول كفاءة وفعالية البحث والتحليل واتخاذ القرارات المالية. النهج التقليدي للبحث في المحتوى النصي فقط يفقد كمية هائلة من المعلومات المضمنة في الرسوم البيانية والمخططات والصور، والتي غالباً ما تحتوي على أهم الرؤى والاتجاهات في المستندات المالية. التضمين متعدد الوسائط يسد هذه الفجوة، مما يجعل المحتوى المرئي قابلاً للبحث والتحليل مثل النص. التأثير على البحث المالي مهم بشكل خاص. المحللون ومديرو المحافظ يقضون جزءاً كبيراً من وقتهم في البحث عن المعلومات ذات الصلة عبر المستندات، وكثير من هذه المعلومات في شكل مرئي. من خلال تمكين البحث باللغة الطبيعية عبر جميع الوسائط، يقلل التضمين متعدد الوسائط الوقت الذي يقضيه في اكتشاف المعلومات ويزيد من عمق واتساع البحث. تمكن التقنية أيضاً من قدرات تحليلية جديدة كانت غير عملية سابقاً. على سبيل المثال، يمكن للمحللين تحديد الأنماط المرئية عبر آلاف الرسوم البيانية، مثل انتشار أنواع معينة من الرسوم البيانية أو استخدام تمثيلات مرئية معينة. للامتثال وإدارة المخاطر، التضمين متعدد الوسائط يمكن من مراقبة المحتوى المرئي في الاتصالات، مما يساعد في تحديد الرسوم البيانية المضللة محتملاً أو الأنماط المرئية غير العادية أو الاستخدام غير المصرح به للمحتوى المرئي الخاص. القدرة على البحث عبر الوسائط تدعم أيضاً العناية الواجبة الأكثر فعالية، حيث يمكن للمحللين العثور بسرعة على التمثيلات المرئية للبيانات المالية عبر شركات وقطاعات وفترات زمنية مختلفة ومقارنتها.
مصطلحات ذات صلة
استكشف في Finatune
أسئلة شائعة
ما هو التضمين متعدد الوسائط في المالية؟
التضمين متعدد الوسائط يولد تمثيلات متجهية موحدة للبيانات من وسائط مختلفة، ويضعها في فضاء دلالي مشترك. في المالية، يمكن من البحث عن الرسوم البيانية باستخدام أوصاف نصية أو إيجاد نص يصف رسماً بيانياً معيناً.
كيف يستخدم التضمين متعدد الوسائط للبحث في المستندات والرسوم البيانية المالية؟
يمكن التضمين متعدد الوسائط المحللين من البحث في المستندات المالية باستخدام استعلامات اللغة الطبيعية التي تسترجع المحتوى النصي والمرئي معاً. يمكن للمحلل أن يسأل 'أظهر لي رسوم بيانية لنمو الإيرادات' ويجد النظام الرسوم البيانية ذات الصلة.
أي قواعد البيانات المتجهية تدعم التضمينات متعددة الوسائط للمالية؟
Weaviate وQdrant هما من قواعد البيانات المتجهية الرائدة مع دعم أصلي للتضمينات متعددة الوسائط. تدعم نماذج تضمين متعددة ومقاييس تشابه، مما يمكن المؤسسات المالية من بناء أنظمة بحث عبر الوسائط.