De puissants modèles d’apprentissage automatique sont utilisés pour aider les gens à résoudre des problèmes difficiles tels que l’identification de maladies dans des images médicales ou la détection d’obstacles pour les véhicules autonomes. Mais les modèles d’apprentissage automatique peuvent faire des erreurs. Par conséquent, dans les environnements à enjeux élevés, il est important que les humains sachent quand faire confiance aux prédictions du modèle.
L’estimation de l’incertitude est l’un des outils qui améliorent la fiabilité du modèle ; Le modèle produit un score avec la prédiction qui exprime le niveau de confiance que la prédiction est correcte. Bien que l’estimation de l’incertitude puisse être utile, les méthodes actuelles nécessitent généralement de recycler l’ensemble du modèle pour lui donner cette capacité. La formation consiste à montrer un modèle avec des millions d’exemples afin qu’il puisse apprendre une tâche. Le recyclage nécessite alors des millions de nouvelles entrées de données, qui peuvent être coûteuses et difficiles à obtenir, et utilise également d’énormes quantités de ressources informatiques.
Des chercheurs du MIT et des MIT-IBM Watson AI Labs ont maintenant développé une technique qui permet à un modèle d’effectuer une quantification plus efficace de l’incertitude, tout en utilisant beaucoup moins de ressources informatiques que d’autres méthodes, et sans données supplémentaires. Leur technologie, qui n’oblige pas l’utilisateur à recycler ou à modifier un modèle, est suffisamment flexible pour de nombreuses applications.
La technique consiste à créer un modèle compagnon plus simple qui aide le modèle d’apprentissage automatique d’origine à estimer l’incertitude. Ce modèle plus petit est conçu pour identifier différents types d’incertitude, ce qui peut aider les chercheurs à rechercher la cause première de prédictions inexactes.
“L’estimation de l’incertitude est essentielle à la fois pour les développeurs et les utilisateurs de modèles d’apprentissage automatique. Les développeurs peuvent utiliser des mesures d’incertitude pour aider à développer des modèles plus robustes, tandis que les utilisateurs peuvent ajouter une autre couche de confiance et de fiabilité lors du déploiement de modèles dans le monde réel. Notre travail conduit à une solution plus agile et un processus d’estimation de l’incertitude », déclare Maohao Xin, étudiant diplômé en génie électrique et en informatique et auteur principal d’un article sur la technique.
Shen a écrit l’article avec Yuheng Bo, un ancien chercheur postdoctoral au Research Laboratory of Electronics (RLE) et maintenant professeur adjoint à l’Université de Floride. Prasanna Satygiri, Soumya Ghosh et Subru Das, membres de l’équipe de recherche du MIT-IBM Watson AI Lab ; et l’auteur principal Gregory Wornell, professeur Sumitomo d’ingénierie qui dirige le laboratoire RLE Signals, Information, and Algorithms et est membre du MIT-IBM Watson AI Lab. La recherche sera présentée à la conférence AAAI sur l’intelligence artificielle.
mesurer l’incertitude
Lors de l’estimation de l’incertitude, le modèle d’apprentissage automatique génère un score numérique avec chaque sortie pour refléter sa confiance dans l’exactitude de cette prédiction. L’intégration de la quantification de l’incertitude en créant un nouveau modèle à partir de zéro ou en recyclant un modèle existant nécessite généralement de grandes quantités de données et des calculs coûteux, qui sont souvent peu pratiques. De plus, les méthodes actuelles ont parfois pour conséquence involontaire de détériorer la qualité des prédictions des modèles.
Ainsi, les chercheurs du MIT Lab et du MIT-IBM Watson AI se sont concentrés sur le problème suivant : étant donné un modèle précédemment testé, comment peuvent-ils lui permettre d’effectuer une quantification efficace de l’incertitude ?
Ils ont résolu ce problème en créant un modèle plus petit et plus simple, connu sous le nom de modèle métallurgique, qui est lié au modèle plus grand et prédéterminé et utilise des fonctionnalités que le modèle plus grand a déjà apprises pour l’aider à effectuer des évaluations quantitatives de l’incertitude.
“Le modèle métallique peut être appliqué à n’importe quel modèle précédemment testé. Il est préférable d’accéder aux parties internes du modèle, car nous pouvons obtenir plus d’informations sur le modèle sous-jacent, mais cela fonctionnera tout aussi bien si vous avez une sortie finale. Il peut toujours prédire le score de confiance », explique Sattigiri. “.
Ils conçoivent le modèle de suivi pour produire une sortie d’incertitude quantique à l’aide d’une technique qui inclut les deux types d’incertitude : l’incertitude des données et l’incertitude du modèle. L’incertitude des données est due à la corruption des données ou à une nomenclature inexacte et ne peut être réduite qu’en réparant l’ensemble de données ou en collectant de nouvelles données. En cas d’incertitude du modèle, le modèle ne sait pas comment expliquer les données nouvellement observées et peut faire des prédictions incorrectes, probablement parce qu’il n’a pas vu suffisamment d’exemples de formation similaires. Ce problème est un problème particulièrement difficile mais courant lors du déploiement de formulaires. Dans des conditions réelles, ils rencontrent souvent des données différentes de l’ensemble de données de formation.
“La fiabilité de vos décisions a-t-elle changé lorsque vous utilisez le modèle dans un nouveau cadre ? Vous voulez un moyen de savoir s’il fonctionne dans ce nouveau système ou si vous avez besoin de collecter des données d’entraînement pour ce nouveau cadre particulier”, explique Wornell.
Validation des quantifications
Une fois que le modèle a produit une incertitude quantitative, l’utilisateur a encore besoin d’une certaine assurance que le résultat lui-même est exact. Les chercheurs vérifient souvent l’exactitude en créant un ensemble de données plus petit, maintenu à partir des données de formation d’origine, puis en testant le modèle sur les données annotées. Cependant, cette technique ne fonctionne pas bien pour quantifier l’incertitude car le modèle peut atteindre une bonne précision de prédiction tout en étant trop confiant, explique Shen.
Ils ont créé une nouvelle technique de validation en ajoutant du bruit aux données dans l’ensemble de validation – ces données bruyantes sont très similaires aux données en dehors de la distribution, ce qui peut entraîner une incertitude dans le modèle. Les chercheurs utilisent cet ensemble de données bruyant pour évaluer les niveaux d’incertitude.
Ils ont testé leur approche en voyant dans quelle mesure le méta-modèle pouvait capturer différents types d’incertitude pour diverses tâches en aval, y compris la détection de la non-distribution et la détection des erreurs de classification. Non seulement leur méthode a battu toutes les lignes de base dans chaque tâche finale, mais elle a également nécessité moins de temps de formation pour obtenir ces résultats.
Cette technique pourrait aider les chercheurs à permettre à davantage de modèles d’apprentissage automatique de quantifier efficacement l’incertitude, aidant ainsi les utilisateurs à prendre de meilleures décisions quant au moment de faire confiance aux prédictions.
À l’avenir, les chercheurs souhaitent adapter leur technique à de nouvelles classes de modèles, tels que les grands modèles de langage qui ont une architecture différente de celle d’un réseau de neurones traditionnel, explique Shen.
Le travail a été financé en partie par le MIT-IBM Watson AI Lab et la US National Science Foundation.