النسيان الكارثي
النسيان الكارثي هو ظاهرة في مجال التعلم الآلي تحدث عندما ينسى النموذج المدرب مسبقاً المعلومات التي تعلمها سابقاً أثناء تدريبه على بيانات جديدة ومختلفة. في سياق نماذج اللغة الكبيرة، يحدث النسيان الكارثي عندما يتم ضبط النموذج بدقة على مجموعة بيانات متخصصة، مما يؤدي إلى فقدان المعرفة العامة التي اكتسبها النموذج أثناء التدريب الأولي على مجموعات البيانات الضخمة. ترجع جذور هذه الظاهرة إلى عدم استقرار الأوزان في الشبكات العصبية العميقة، حيث تؤدي تحديثات الأوزان أثناء التدريب على البيانات الجديدة إلى الكتابة فوق التمثيلات التي تعلمها النموذج سابقاً للبيانات القديمة. تكون هذه المشكلة حادة بشكل خاص عندما تكون البيانات الجديدة مختلفة توزيعياً عن بيانات التدريب الأصلية، أو عندما يكون حجم البيانات الجديدة صغيراً نسبياً مقارنة بحجم التدريب الأولي. تختلف درجة النسيان الكارثي باختلاف نوع النموذج وحجمه وطبيعة المهمة المدرب عليها. النماذج الأصغر حجماً تميل إلى المعاناة من النسيان الكارثي بشكل أكبر من النماذج الأكبر حجماً، لأنها تمتلك سعة تخزينية محدودة للمعرفة. تظهر الأبحاث أن النماذج ذات المعاملات القليلة تفقد ما يصل إلى 30% من أدائها على المهام السابقة بعد الضبط الدقيق على مهمة جديدة، بينما تفقد النماذج الكبيرة مثل Llama 3 70B حوالي 10-15% فقط. يعتبر النسيان الكارثي تحدياً رئيسياً في مجال الضبط الدقيق للنماذج، وقد أدى إلى تطوير تقنيات متخصصة مثل LoRA وQLoRA وAdaLoRA التي تهدف إلى تقليل تأثيره من خلال تحديث جزء صغير فقط من أوزان النموذج بدلاً من تحديث جميع الأوزان. كما تم تطوير أساليب مثل Elastic Weight Consolidation (EWC) وSynaptic Intelligence التي تحمي الأوزان المهمة للمهام السابقة من التغيير الجذري أثناء التدريب على المهام الجديدة.
في الخدمات المالية
مثال واقعي
قام بنك قطر الوطني (QNB)، أحد أكبر المؤسسات المالية في الشرق الأوسط بإجمالي أصول يتجاوز 320 مليار دولار، بضبط نموذج Llama 3 70B بدقة على مجموعة بيانات مكونة من 50,000 مثال لتحليل طلبات التمويل التجاري. بعد الضبط الدقيق، أظهر النموذج أداءً ممتازاً في تحليل طلبات التمويل التجاري بدقة وصلت إلى 92%، لكنه أظهر تراجعاً ملحوظاً في قدرته على الإجابة على أسئلة الامتثال التنظيمي العام، حيث انخفضت دقته في هذا المجال من 88% قبل الضبط إلى 73% بعد الضبط الدقيق. كما لاحظ فريق إدارة المخاطر أن النموذج فقد قدرته على شرح الفروق بين أنواع التمويل الإسلامي المختلفة مثل المرابحة والمضاربة والمشاركة، حيث كانت دقته في هذا المجال 85% قبل الضبط وأصبحت 61% بعد الضبط. قام البنك بتطبيق تقنية LoRA (Low-Rank Adaptation) التي تقوم بتحديث 0.1% فقط من أوزان النموذج، مما أدى إلى تحسن كبير في الحفاظ على المعرفة العامة. مع LoRA، حافظ النموذج على 91% من أدائه في أسئلة الامتثال التنظيمي و87% من معرفته بالتمويل الإسلامي، بينما حقق دقة 89% في تحليل طلبات التمويل التجاري. استخدم البنك أيضاً تقييماً متعدد المهام قبل وبعد الضبط الدقيق لقياس النسيان الكارثي، مما مكنه من تعديل استراتيجية الضبط بناءً على النتائج. يخطط البنك الآن لتوسيع نطاق الضبط الدقيق ليشمل المزيد من المهام المالية مع الاستمرار في مراقبة مؤشرات النسيان الكارثي بشكل دوري كجزء من إطار حوكمة الذكاء الاصطناعي الخاص به.
لماذا يهم في التمويل
يعتبر النسيان الكارثي من أهم التحديات التي تواجه المؤسسات المالية في منطقة الشرق الأوسط وشمال أفريقيا عند تبني تقنيات الضبط الدقيق لنماذج اللغة الكبيرة. فهم هذه الظاهرة وكيفية التعامل معها أمر حاسم لضمان نشر نماذج ذكاء اصطناعي آمنة وموثوقة ومتوافقة مع المعايير التنظيمية. في بيئة مالية تزداد تنظيماً وتعقيداً، حيث تتداخل متطلبات الامتثال للوائح المتعددة مثل تعليمات البنك المركزي السعودي (SAMA) وهيئة السوق المالية (CMA) ومصرف الإمارات المركزي (CBUAE) وهيئة مركز قطر للمال (QFC)، يجب أن تحتفظ النماذج بقدرتها على التعامل مع جميع هذه المجالات التنظيمية في وقت واحد. تقنيات مثل LoRA وQLoRA توفر حلاً عملياً للمؤسسات المالية التي ترغب في تخصيص نماذجها دون التضحية بمعرفتها الأساسية، مما يقلل تكاليف الضبط الدقيق بنسبة تصل إلى 90% مع الحفاظ على الأداء العام. بالنسبة للمؤسسات المالية التي تتعامل مع التمويل الإسلامي، يعتبر الحفاظ على المعرفة الفقهية والشرعية أمراً ضرورياً لا يمكن التضحية به مقابل تحسين الأداء في مهمة محددة. كما أن متطلبات إدارة مخاطر النماذج (MRM) في المنطقة تفرض اختبارات شاملة للتحقق من عدم وجود تدهور في أداء النموذج عبر جميع المهام بعد الضبط الدقيق، مما يجعل قياس ومعالجة النسيان الكارثي جزءاً لا يتجزأ من عملية الامتثال التنظيمي. المؤسسات المالية التي تستثمر في فهم وتطبيق تقنيات مكافحة النسيان الكارثي ستكون قادرة على بناء نماذج ذكاء اصطناعي أكثر تخصصاً وفعالية مع الحفاظ على الامتثال التنظيمي والثقة التشغيلية.
مصطلحات ذات صلة
استكشف في Finatune
أسئلة شائعة
ما هو النسيان الكارثي في ضبط نماذج الذكاء الاصطناعي؟
النسيان الكارثي هو ظاهرة في التعلم الآلي حيث ينسى النموذج المدرب مسبقاً معرفته السابقة عند تدريبه على بيانات جديدة. في سياق الضبط الدقيق لنماذج اللغة الكبيرة، يحدث ذلك عندما يؤدي تحديث أوزان النموذج على مجموعة بيانات متخصصة إلى فقدان المعرفة العامة التي اكتسبها النموذج أثناء التدريب الأولي. هذا يعني أن النموذج قد يصبح أفضل في مهمة محددة لكنه يفقد القدرة على أداء مهام أخرى كان يتقنها سابقاً.
كيف يؤثر النسيان الكارثي على نماذج الذكاء الاصطناعي المالي في المنطقة؟
يؤثر النسيان الكارثي بشكل كبير على النماذج المالية في الشرق الأوسط لأنه قد يؤدي إلى فقدان المعرفة باللوائح التنظيمية المتعددة مثل تعليمات البنك المركزي السعودي (SAMA) وهيئة السوق المالية (CMA) ومصرف الإمارات المركزي (CBUAE). عندما يتم ضبط نموذج على مهمة محددة مثل تحليل الائتمان، قد ينسى متطلبات مكافحة غسل الأموال أو مبادئ التمويل الإسلامي. هذا يشكل خطراً تنظيمياً كبيراً ويتطلب اختباراً شاملاً قبل وبعد الضبط الدقيق.
كيف تساعد تقنية LoRA في منع النسيان الكارثي؟
تعمل تقنية LoRA (Low-Rank Adaptation) على منع النسيان الكارثي عن طريق تحديث جزء صغير جداً من أوزان النموذج بدلاً من جميع الأوزان. تقوم LoRA بإضافة مصفوفات منخفضة الرتبة إلى طبقات محددة في النموذج مع تثبيت الأوزان الأصلية، مما يحافظ على المعرفة العامة للنموذج. هذا يسمح بتحقيق أداء جيد على المهمة الجديدة مع الحفاظ على 90% أو أكثر من أداء النموذج الأصلي على المهام السابقة، مما يجعله الخيار المفضل للمؤسسات المالية التي تحتاج إلى ضبط دقيق دون فقدان المعرفة التنظيمية الأساسية.