Avec les récentes avancées technologiques, les grands modèles de langage (LLM) sont devenus incroyablement populaires en raison de leurs performances exceptionnelles sur une gamme de tâches de traitement du langage naturel. L’un de leurs plus grands différenciateurs est leur remarquable capacité à résoudre de nouvelles tâches à partir de quelques exemples ou invites textuelles. Cela rend d’autant plus surprenant que ceux qui savent tout dans un LLM ont souvent des problèmes avec des fonctions de base telles que l’exécution d’opérations mathématiques ou l’impossibilité d’accéder à des informations à jour sur des événements récents. Dans le même temps, des modèles plus simples et plus petits fonctionnent bien dans cet espace.
Les chercheurs ont cherché à utiliser des outils externes tels que des moteurs de recherche, des calculatrices ou des almanachs ainsi que des modèles de langage via des API pour relever les défis du LLM. Malheureusement, les méthodes actuelles restreignent l’utilisation de l’outil dans des paramètres spécifiques à une tâche ou reposent trop sur des annotations humaines, ce qui empêche l’utilisation de l’outil dans LLM de devenir plus utilisable. Des chercheurs de Meta AI Research et de l’Universitat Pompeu Fabra ont travaillé ensemble sur cet énoncé de recherche pour développer Toolformer, un modèle qui, d’une nouvelle manière, s’auto-apprend à utiliser des outils externes tels que des moteurs de recherche, des calculatrices et des systèmes de traduction via des appels API pour améliorer son performances sur diverses tâches en aval. Le Toolformer est formé pour porter des jugements, tels que les API à appeler, quand les appeler et comment incorporer les résultats dans la prédiction du futur code de la meilleure façon possible. Leur publication, « Toolformer : les modèles linguistiques peuvent s’entraîner à utiliser les outils », fournit plus d’informations sur leurs recherches.
Avant de créer le modèle, l’équipe a d’abord rédigé une liste préliminaire d’améliorations que Toolformer devrait avoir par rapport aux modèles de langage existants. La première exigence était que les outils devaient être enseignés de manière auto-supervisée sans avoir besoin de beaucoup d’annotations humaines. Non seulement les annotations humaines sont coûteuses et chronophages, mais il existe également des cas où ce que les humains considèrent comme précieux et ce que le modèle pense être utile peuvent différer. La deuxième exigence était que le modèle puisse choisir quel outil utiliser quand et comment sans rien perdre de sa généralité. Cela permet d’utiliser les outils plus largement car ils ne sont pas spécifiques à une tâche.
🚨 Lisez notre dernière newsletter AI🚨
La méthodologie Toolformer utilise des techniques d’apprentissage contextuel comme base pour créer des ensembles de données complets à partir de zéro. En regardant quelques exemples manuscrits montrant comment utiliser une API particulière, le LLM annote un grand ensemble de données pour modéliser le langage avec d’éventuels appels d’API. La meilleure API pour aider à prédire les symboles futurs dans une tâche donnée est déterminée à l’aide d’une perte auto-supervisée. Les chercheurs ont ensuite adapté le modèle aux appels d’API jugés les plus utiles. Cette approche simple et auto-supervisée permet à un LLM, tel que Toolformer, d’apprendre à contrôler une variété d’outils, y compris une calculatrice, un système de questions-réponses, un moteur de recherche, un système de traduction et un calendrier. Notamment, l’équipe conçoit chaque API comme une chaîne de scripts, permettant aux appels d’API d’être insérés de manière transparente dans n’importe quel script donné. Par conséquent, la méthode est indépendante de l’ensemble de données d’apprentissage, ce qui garantit que le modèle conserve toutes ses capacités de modélisation génériques et linguistiques.
En utilisant le paramètre GPT-J LLM 6.7B précédemment testé, les chercheurs ont effectué plusieurs évaluations expérimentales à l’aide de l’outil Toolformer. Certaines des tâches finales utilisées pour l’évaluation comprenaient le raisonnement mathématique et la réponse à des questions. Il a été conclu que Toolformer n’a obtenu aucun résultat significatif lors des essais, surpassant ainsi le modèle GPT-3 beaucoup plus grand et d’autres lignes de base sans compromettre ses capacités de modélisation de langage de base. En bref, Toolformer est un modèle de langage qui apprend à utiliser divers outils, tels que des moteurs de recherche, des calculatrices et des systèmes de traduction, via de simples appels d’API, de manière auto-supervisée. Le modèle de langage améliore considérablement les performances de zéro coup sur de nombreuses tâches en aval, surpassant même le modèle GPT-3 beaucoup plus grand.
scanner le papier. Tout le mérite de cette recherche revient aux chercheurs de ce projet. N’oubliez pas non plus de vous inscrire 14k + ML Sous RedditEt canal de discordeEt Courrieloù nous partageons les dernières nouvelles sur la recherche en IA, des projets d’IA sympas, et plus encore.
Khushboo Gupta est consultant stagiaire chez MarktechPost. Elle poursuit actuellement son baccalauréat en technologie de l’Indian Institute of Technology (IIT), Goa. Elle est passionnée par les domaines de l’apprentissage automatique, du traitement du langage naturel et du développement Web. Vous aimez en apprendre davantage sur le domaine technique en participant à divers défis.