De puissants modèles d’apprentissage automatique aident les humains à résoudre des problèmes complexes tels que la détection d’un cancer sur des images médicales ou la détection d’obstacles pour les véhicules autonomes. Cependant, comme les modèles d’apprentissage automatique sont imparfaits, les gens doivent comprendre quand croire les prédictions des modèles dans des situations à enjeux élevés.
Il est bien entendu que les réseaux de neurones devraient être plus confiants lorsqu’ils génèrent des mesures d’incertitude directement que la distribution des étiquettes de sortie. Pour que le modèle appris atteigne la précision nécessaire et les performances de prédiction d’incertitude simultanées, les techniques actuelles résolvent principalement ce problème en réentraînant l’ensemble du modèle pour renforcer les capacités d’estimation d’incertitude. Cependant, partir de zéro avec la formation du modèle est coûteux en calcul et peut n’être réalisable que parfois.
Une façon d’améliorer la fiabilité du modèle consiste à quantifier l’incertitude. En général, les techniques d’estimation de l’incertitude peuvent être classées comme internes ou externes selon la manière dont les incertitudes sont dérivées des modèles d’apprentissage automatique. Le modèle d’estimation de l’incertitude génère un score avec la prédiction qui indique le degré de confiance dans l’exactitude de la prédiction. La mesure de l’incertitude est utile, mais les méthodes actuelles impliquent souvent de recycler l’ensemble du modèle. La formation consiste à donner d’innombrables exemples d’un modèle d’apprentissage d’une tâche. Ensuite, un recyclage est nécessaire et nécessite une énorme quantité de nouvelles données qui peuvent être coûteuses et difficiles à obtenir.
🚨 Lisez notre dernière newsletter AI🚨
Des chercheurs du MIT et des MIT-IBM Watson AI Labs ont créé une stratégie qui permet au modèle d’effectuer une quantification de l’incertitude plus efficacement tout en utilisant beaucoup moins de puissance de traitement et sans données supplémentaires que les méthodes précédentes. Leur méthode est suffisamment adaptable pour différentes applications car elle ne nécessite pas que l’utilisateur réapprenne ou modifie le modèle. Le processus implique la création d’un modèle compagnon plus simple qui aide le modèle d’apprentissage automatique à estimer l’incertitude. Avec ce modèle plus compact, les chercheurs peuvent identifier diverses sources d’incertitude qui contribuent à de fausses prédictions.
L’équipe de recherche a développé un modèle plus petit et plus précis, connu sous le nom de modèle minéralogique, pour résoudre le problème de la quantification. Il est connecté au plus grand modèle pré-formé. Il tire parti des caractéristiques que le modèle plus large a déjà apprises pour l’aider à porter des jugements quantitatifs sur l’incertitude. Les chercheurs ont utilisé une technique qui intègre à la fois l’incertitude du modèle et des données lors de la conception du modèle modifié pour obtenir une estimation de l’incertitude de sortie. La corruption des données et les étiquettes incorrectes sont des causes majeures d’incertitude des données, et elles ne peuvent être réparées ou remplacées que par de nouvelles données. En présence d’incertitude du modèle, le modèle ne sait pas comment interpréter les données nouvellement observées et peut faire des prédictions inexactes, principalement en raison d’exemples de formation insuffisants similaires aux nouvelles données. Ce défi, bien qu’il se produise fréquemment lors du déploiement de modèles, est particulièrement difficile. Ils rencontrent souvent des données qui diffèrent de l’échantillon de formation dans des conditions réelles.
L’utilisateur a encore besoin de confirmation que le degré d’incertitude généré par le modèle est exact. Pour tester un modèle sur les données retenues de l’ensemble d’apprentissage d’origine, les chercheurs créent souvent un ensemble de données plus petit pour le valider. Le modèle peut atteindre une bonne précision de prédiction tout en étant trop confiant. Par conséquent, cette technique ne fonctionne pas bien pour mesurer l’incertitude.
En introduisant du bruit dans les données de l’ensemble de validation, qui est plus proche des données en dehors de la distribution et peut introduire de l’incertitude dans le modèle, les chercheurs ont pu construire une nouvelle technique de validation. Les chercheurs utilisent cet ensemble de données bruyant pour évaluer les niveaux d’incertitude. Non seulement leur approche a dépassé toutes les lignes de base sur chaque tâche finale, mais ils l’ont également fait avec moins de temps de formation.
En plus d’être adaptable à d’autres architectures de modèles, telles que les modèles d’adaptateur et de langage, les chercheurs pensent que l’approche du métamodèle a la polyvalence nécessaire pour gérer diverses applications liées à l’estimation de l’incertitude, telles que la quantification de la capacité de transfert dans l’apprentissage par transfert et l’adaptation de domaine. Les études futures pourraient être fascinantes en étudiant ces utilisations potentielles et en fournissant une compréhension théorique du méta-modèle.
scanner le papier Et Article de référence. Tout le mérite de cette recherche revient aux chercheurs de ce projet. N’oubliez pas non plus de vous inscrire 14k + ML Sous RedditEt canal de discordeEt Courrieloù nous partageons les dernières nouvelles sur la recherche en IA, des projets d’IA sympas, et plus encore.
Niharika est consultante technique stagiaire chez Marktechpost. Elle est étudiante en troisième année de premier cycle et poursuit actuellement un baccalauréat en technologie de l’Indian Institute of Technology (IIT), Kharagpur. C’est une personne très motivée avec un vif intérêt pour l’apprentissage automatique, la science des données et l’intelligence artificielle et une lectrice avide des derniers développements dans ces domaines.