Détection de Dérive de Modèle
La détection de dérive de modèle est le processus de surveillance des modèles d'apprentissage automatique en production pour identifier quand leurs performances se dégradent en raison de changements dans la distribution sous-jacente des données. Il existe trois types principaux : la dérive des données, la dérive du concept et la dérive du modèle. La dérive des modèles dans les systèmes ML en production se produit parce que la relation statistique entre les variables d'entrée et les variables cibles change avec le temps. Deux types principaux sont distingués: la dérive conceptuelle et la dérive des données (décalage de covariate). Les tests statistiques couramment utilisés comprennent le test de Kolmogorov-Smirnov, l'Index de Stabilité de Population (PSI), la divergence de Jensen-Shannon et l'Écart Quadratique Moyen Maximum (MMD). Pour la dérive conceptuelle, la surveillance des métriques de performance du modèle dans le temps est une approche standard.
Dans les services financiers
Exemple concret
Une grande banque britannique a mis en place un système de détection de dérive en temps réel pour son modèle de détection de fraude par carte de crédit. Le système surveille 50 caractéristiques d'entrée quotidiennement. Pendant la pandémie de COVID-19, le système a détecté une dérive significative des données en 48 heures.
Pourquoi c'est important en Finance
La détection de dérive est essentielle pour maintenir la fiabilité des modèles d'IA dans l'environnement financier dynamique. Sans elle, les modèles se dégradent silencieusement, entraînant des décisions erronées. Le coût commercial de la dérive non détectée est substantiel. Un modèle de crédit dégradé qui approuve excessivement les demandes risquées peut générer des pertes sur prêts significatives. Un modèle de fraude qui manque un nouveau vecteur d'attaque peut exposer l'institution à des dizaines de millions de pertes avant qu'un analyste repère la tendance. La surveillance proactive de la dérive avec des alertes automatisées est un impératif de gestion des risques financiers.
Termes associés
Explorer dans Finatune
Questions fréquentes
Qu'est-ce que la dérive de modèle?
La dérive se produit quand les performances d'un modèle d'IA se dégradent car les données rencontrées diffèrent des données d'entraînement.
Comment détecter et gérer la dérive?
Les institutions utilisent des tests statistiques comme KS, l'indice de stabilité de la population et le suivi des métriques de performance.
Quelles sont les exigences réglementaires?
SR 11-7 et l'AI Act exigent une surveillance continue des performances des modèles avec documentation des processus de détection.