→ مسرد التكنولوجيا الماليةالذكاء الاصطناعي

تكميم النموذج

تكميم النموذج هو تقنية تقلل من دقة القيم الرقمية في الشبكة العصبية لتقليل بصمة الذاكرة ومتطلبات التخزين وزمن استجابة الاستدلال مع الحفاظ على دقة مقبولة. يحول التكميم أوزان وتنشيطات النموذج من تنسيقات عالية الدقة مثل الفاصلة العائمة 32 بت (FP32) إلى تنسيقات أقل دقة مثل 16 بت (FP16) أو 8 بت (INT8) أو 4 بت (INT4).

في الخدمات المالية

التكميم مفيد بشكل خاص للمؤسسات المالية التي تحتاج إلى نشر نماذج الذكاء الاصطناعي محليا للوفاء بمتطلبات إقامة البيانات. يمكّن التكميم من تشغيل النماذج الكبيرة على الأجهزة المتاحة عن طريق تقليل متطلبات الذاكرة بمقدار 4 مرات أو أكثر.

مثال واقعي

بنك أوروبي يحتاج إلى نشر نموذج لغة كبير محليا. يختار البنك نسخة مكممة من نموذج Llama باستخدام تكميم 4 بت، مما يقلل حجم النموذج من 140 جيجابايت إلى 35 جيجابايت.