→ مسرد التكنولوجيا الماليةالذكاء الاصطناعي

سلامة الذكاء الاصطناعي

سلامة الذكاء الاصطناعي هي مجال البحث والممارسة الذي يركز على ضمان أن أنظمة الذكاء الاصطناعي تعمل بشكل موثوق وأخلاقي ومفيد وتتجنب النتائج الضارة حتى في المواقف غير المتوقعة أو العدائية. تشمل سلامة الذكاء الاصطناعي مجموعة واسعة من الاهتمامات بما في ذلك المتانة ضد المدخلات العدائية والتوافق مع القيم الإنسانية وتجنب السلوكيات الضارة والشفافية وقابلية تفسير قرارات الذكاء الاصطناعي والأداء الموثوق عبر الظروف المتنوعة. نشأ المجال من المخاوف بشأن المخاطر المحتملة لأنظمة الذكاء الاصطناعي المتزايدة القدرة وتطور إلى تخصص ناضج مع منهجيات محددة وأطر تقييم وأفضل الممارسات. تشمل المجالات الرئيسية لسلامة الذكاء الاصطناعي المتانة والموثوقية التي تضمن أن أنظمة الذكاء الاصطناعي تعمل بشكل صحيح تحت مجموعة واسعة من الظروف بما في ذلك الحالات الحدودية والمدخلات العدائية والتوافق الذي يضمن أن أنظمة الذكاء الاصطناعي تسعى لتحقيق أهداف متسقة مع القيم والنوايا البشرية والمراقبة والإشراف التي توفر آليات لاكتشاف وتصحيح سلوك الذكاء الاصطناعي الضار والشفافية وقابلية التفسير التي تمكن فهم كيفية اتخاذ أنظمة الذكاء الاصطناعي للقرارات. لنماذج اللغة الكبيرة، تشمل مخاوف السلامة المحددة الهلوسة حيث يولد النموذج معلومات معقولة ولكنها غير صحيحة واختراق الحماية حيث يتجاوز المستخدمون تدابير السلامة وحقن المطالبات حيث تتلاعب المدخلات الضارة بسلوك النموذج وتضخيم التحيز حيث يعزز النموذج الصور النمطية الضارة وتسرب البيانات حيث يكشف النموذج عن غير قصد معلومات حساسة من بيانات التدريب الخاصة به. يتم تنفيذ سلامة الذكاء الاصطناعي من خلال مجموعة من التدابير التقنية بما في ذلك التدريب على السلامة حيث يتم ضبط النماذج بدقة لتجنب المخرجات الضارة وحواجز الحماية والمرشحات التي تمنع المدخلات والمخرجات غير الآمنة والاختبار الأحمر حيث يختبر خبراء الأمن النموذج بحثًا عن نقاط الضعف والمراقبة التي تتبع سلوك النموذج في الإنتاج بحثًا عن علامات التدهور أو السلوك غير الآمن.

في الخدمات المالية

في الخدمات المالية، تعتبر سلامة الذكاء الاصطناعي اهتمامًا بالغ الأهمية لأن عواقب فشل الذكاء الاصطناعي يمكن أن تكون شديدة خسائر مالية وعقوبات تنظيمية وأضرار سمعة وإضرار بالعملاء. يجب على المؤسسات المالية التي تنشر الذكاء الاصطناعي ضمان أن أنظمتها آمنة عبر أبعاد متعددة. البعد الأول هو الموثوقية: يجب أن تنتج أنظمة الذكاء الاصطناعي المالية نتائج متسقة ودقيقة حتى في ظروف السوق غير العادية أو عند معالجة بيانات غير نمطية. النموذج الذي يعمل بشكل جيد في المتوسط ولكنه يفشل بشكل كارثي أثناء أزمة السوق ليس آمنًا للاستخدام المالي. البعد الثاني هو الأمان: يجب أن تكون أنظمة الذكاء الاصطناعي المالية مقاومة للهجمات العدائية بما في ذلك محاولات التلاعب بمخرجات النموذج أو استخراج معلومات حساسة أو تجاوز ضوابط السلامة. نظرًا للحوافز المالية لمهاجمة أنظمة الذكاء الاصطناعي، يجب على المؤسسات المالية الاستثمار في تدابير أمان قوية. البعد الثالث هو الامتثال: يجب أن تعمل أنظمة الذكاء الاصطناعي ضمن الحدود التنظيمية وتتجنب الإجراءات التي قد تنتهك قوانين الأوراق المالية أو اللوائح المصرفية أو قواعد حماية المستهلك. نظام الذكاء الاصطناعي الآمن هو الذي يبقى ضمن هذه الحدود حتى عندما يُطلب منه خلاف ذلك. البعد الرابع هو العدالة: يجب أن تتجنب أنظمة الذكاء الاصطناعي النتائج التمييزية وتعامل جميع العملاء بشكل عادل بغض النظر عن الخصائص المحمية. أكد المنظمون الماليون على أن أنظمة الذكاء الاصطناعي المستخدمة لقرارات الائتمان وتسعير التأمين والخدمات المالية الأخرى يجب اختبارها للتحيز. البعد الخامس هو الشفافية: يجب أن تكون المؤسسات المالية قادرة على شرح كيفية اتخاذ أنظمة الذكاء الاصطناعي للقرارات خاصة للقرارات الخاضعة للتنظيم مثل رفض الائتمان أو علامات الاحتيال.

مثال واقعي

يقوم بنك تجزئة كبير بتنفيذ برنامج شامل لسلامة الذكاء الاصطناعي لنظام قرارات الائتمان المدعوم بالذكاء الاصطناعي. يتضمن البرنامج اختبارًا عدائيًا حيث يحاول فريق أحمر تجاوز ضوابط السلامة في النظام واختبار التحيز عبر المجموعات الديموغرافية واختبار الإجهاد في ظل ظروف اقتصادية غير عادية والمراقبة المستمرة لمخرجات النموذج بحثًا عن علامات التدهور. يحدد الفريق الأحمر 15 نقطة ضعف في السنة الأولى بما في ذلك هجوم حقن المطالبات الذي قد يتسبب في موافقة النموذج على قروض لمتقدمين غير مؤهلين. تقوم البنك بإصلاح كل نقطة ضعف وإعادة اختبار النظام. يتضمن برنامج سلامة الذكاء الاصطناعي للبنك أيضًا إطار حوكمة مع لجنة مخاطر النماذج التي تراجع جميع نماذج الذكاء الاصطناعي قبل النشر وخطة الاستجابة للحوادث لحوادث سلامة الذكاء الاصطناعي وتدريب منتظم على السلامة لجميع الموظفين العاملين مع الذكاء الاصطناعي. تشير البنك إلى أن برنامج سلامة الذكاء الاصطناعي منع ثلاث حوادث خطيرة محتملة في سنته الأولى وأصبح نموذجًا لممارسات حوكمة الذكاء الاصطناعي للبنك.

لماذا يهم في التمويل

سلامة الذكاء الاصطناعي هي متطلب أساسي لنشر الذكاء الاصطناعي في الخدمات المالية حيث تكون المخاطر عالية وهامش الخطأ منخفضًا. المؤسسات المالية التي تهمل سلامة الذكاء الاصطناعي تعرض نفسها لمخاطر كبيرة بما في ذلك العقوبات التنظيمية والخسائر المالية والأضرار السمعة والإضرار بالعملاء. البيئة التنظيمية لسلامة الذكاء الاصطناعي في الخدمات المالية تتطور بسرعة حيث يتوقع المنظمون بشكل متزايد من المؤسسات إظهار أن أنظمة الذكاء الاصطناعي الخاصة بهم آمنة وموثوقة وعادلة.