Concepts clés de la sécurité de l'intelligence artificielle : quantification fiable de l'incertitude dans l'apprentissage machine

Liste des titres des chapitres clés

1. Introduction
2. Le défi de la quantification fiable de l'incertitude
3. Comprendre le décalage de distribution
4. Caractériser précisément l'incertitude
5. Méthodes existantes pour la quantification de l'incertitude
6. Méthodes déterministes
7. Ensemble de modèles
8. Prédiction conforme
9. Inférence bayésienne
10. Considérations pratiques pour la quantification de l'incertitude
11. Perspectives

Présentation du document

Le développement rapide de la recherche en apprentissage automatique au cours de la dernière décennie a donné naissance à des systèmes aux capacités impressionnantes mais dont la fiabilité est souvent critiquée. Le problème de la performance inégale de ces systèmes pose un défi majeur pour leur déploiement dans des scénarios réels. Construire des systèmes d'apprentissage automatique qui connaissent leurs limites – c'est-à-dire capables d'identifier et de répondre à leurs propres scénarios d'erreur – est devenu une voie intuitive pour résoudre ce problème. Cet objectif est techniquement défini comme la quantification de l'incertitude, un sujet de recherche ouvert et largement suivi dans le domaine de l'apprentissage automatique.

Ce rapport, en tant que cinquième publication de la série sur la sécurité de l'intelligence artificielle, présente systématiquement le fonctionnement, les difficultés principales et les perspectives futures de la quantification de l'incertitude. Le rapport commence par expliquer le concept clé de calibration, à savoir que l'incertitude prédictive d'un modèle d'apprentissage automatique doit correspondre à la probabilité d'erreur de prédiction. Il illustre trois états de modèles – sous-confiant, bien calibré et trop confiant – à l'aide de courbes de calibration, et utilise l'exemple du diagnostic d'imagerie médicale pour montrer la valeur pratique d'un système bien calibré.

Le décalage de distribution est le principal défi pratique auquel est confrontée la quantification de l'incertitude. Il fait référence à la différence entre la distribution des données rencontrées après le déploiement du modèle et celle de la phase d'entraînement. Cette différence est difficile à anticiper, à détecter et à définir avec précision, ce qui peut entraîner l'échec en environnement réel complexe de modèles bien calibrés en laboratoire. Parallèlement, les sorties probabilistes des modèles d'apprentissage automatique traditionnels présentent des défauts inhérents : elles ne garantissent pas de lien avec le taux de précision réel et peinent à exprimer des scénarios inconnus de type "aucune des réponses ci-dessus", ce qui accroît encore la difficulté de quantification.

Le rapport détaille quatre catégories principales de méthodes de quantification de l'incertitude : les méthodes déterministes, l'ensemble de modèles, la prédiction conforme et l'inférence bayésienne. Il analyse respectivement le principe technique, les avantages et les limites de chaque catégorie. Les méthodes déterministes visent à entraîner le modèle à exprimer une forte incertitude face à des données non vues pendant l'entraînement, mais peinent à couvrir tous les scénarios réels complexes. L'ensemble de modèles améliore la précision et l'estimation de l'incertitude en combinant les prédictions de plusieurs modèles, mais manque d'un mécanisme de validation universel. La prédiction conforme offre des garanties mathématiques de fiabilité, mais repose sur l'hypothèse préalable d'absence de décalage de distribution. L'inférence bayésienne fournit un cadre théoriquement rigoureux, mais est difficile à mettre en œuvre avec précision dans les modèles d'apprentissage automatique modernes.

Au niveau de l'application pratique, les méthodes de quantification de l'incertitude peuvent servir de composants additionnels au flux d'entraînement standard, ajoutant une couche de sécurité aux systèmes déployés. Cependant, une conception attentive de l'interaction homme-machine est nécessaire pour garantir que les opérateurs humains puissent interpréter et utiliser efficacement les résultats d'estimation de l'incertitude. Il faut également reconnaître qu'aucune méthode existante n'est une solution universelle ; l'utilisation d'estimations d'incertitude ne doit pas générer une confiance illusoire, et la conception du système doit pleinement prendre en compte les risques inconnus.

Malgré les défis fondamentaux liés à la quantification fiable de l'incertitude, et bien qu'il soit peut-être impossible d'atteindre une connaissance parfaite de ses limites de manière totalement déterministe, la recherche dans ce domaine a déjà réalisé des progrès significatifs pour améliorer la fiabilité et la robustesse des systèmes d'apprentissage automatique. À l'avenir, elle devrait évoluer de la recherche fondamentale vers la résolution de défis d'ingénierie pratiques, jouant un rôle clé pour améliorer la sécurité, la fiabilité et l'interprétabilité des systèmes d'IA, tels que les grands modèles de langage.