Au cours des dernières années, les modèles de langage sont devenus l’un des domaines les plus dynamiques de l’intelligence artificielle. Ces modèles ont été développés pour traiter et produire des textes en langage naturel et sont utilisés pour piloter certaines des applications d’IA les plus innovantes et révolutionnaires. Les modèles de langage révolutionnent et inaugurent une nouvelle ère dans l’expansion de l’intelligence artificielle. Le modèle développé par OpenAI appelé GPT-3, qui a récemment gagné en popularité, possède des capacités extraordinaires et affiche des performances impressionnantes. L’architecture Transformers est utilisée pour traiter le texte, ce qui donne un formulaire qui peut facilement générer du contenu et répondre aux questions comme le ferait un humain. De plus, le modèle est même capable de résumer de longs textes, de compléter des codes et d’exécuter des tâches avec une vitesse et une précision fulgurantes.
Les modèles linguistiques peuvent fonctionner parfaitement, grâce au concept d’apprentissage contextuel dans lequel les tâches invisibles sont généralisées. Cependant, l’apprentissage contextuel (ICL) montre une légère limitation en raison de sa sensibilité à la sélection d’exemples en contexte et de l’incapacité à considérer l’interrelation entre les exemples contextuels. La nouvelle approche, appelée Exemples synthétiques pour l’apprentissage contextuel ou simplement CEIL, modélise le processus de sélection d’exemples en contexte comme un problème de sélection de sous-ensemble. Il ne repose pas sur une inférence simple comme les méthodes précédentes, mais il montre une grande interaction entre les entrées et les exemples.
L’apprentissage contextuel peut simplement être expliqué comme un apprentissage dans lequel le modèle apprend quelque chose de nouveau et d’unique en examinant des exemples similaires à ceux que le modèle tente de prédire. Ceci peut être expliqué à l’aide d’un exemple. Tout en apprenant à additionner des fractions en mathématiques, on apprend cela en regardant d’abord des exemples qui impliquent l’addition de fractions avec le même dénominateur. L’idée est de comprendre les modèles et les règles pour résoudre des problèmes nouveaux et invisibles. En termes d’apprentissage en contexte, pour que le modèle comprenne et classe les phrases positives et négatives, plusieurs exemples sont présentés et un contexte autour de la phrase, comme une critique d’application ou un tweet.
🚨 Lisez notre dernière newsletter AI🚨
Étant donné que les méthodes traditionnelles utilisent des estimations de base et affichent des performances sous-optimales, CEIL est une meilleure approche car elle utilise le concept d’opérations en points finis (DPP). Il le fait pour modéliser l’interaction entre les entrées données et les exemples en contexte. DPP est un modèle probabiliste qui sélectionne divers sous-ensembles d’éléments à partir d’un ensemble plus vaste. Les déterminants dans DPP mesurent la taille d’un sous-espace d’une zone plus grande couverte par un ensemble de vecteurs. Dans CEIL, DPP a été utilisé pour sélectionner divers ensembles ou sous-ensembles d’exemples pour former un modèle. CEIL modélise tous les groupes de modèles par apprentissage co-probabilité avec DPP conditionnel, suivi de leur formation pour s’adapter au score du modèle linguistique par perte de contraste.
L’équipe à l’origine des exemples composés d’apprentissage contextuel (CEIL) a validé l’approche sur 12 ensembles de données de classification et de génération à partir de 7 tâches différentes de traitement du langage naturel. Les données variaient de l’analyse des sentiments et de la paraphrase des données de détection de raisonnement et de la réponse aux questions ouvertes. CEIL s’est avéré plus efficace que les méthodes standard en raison de sa portabilité et de sa configuration. Ainsi, l’introduction de modèles synthétiques d’apprentissage contextuel (CEIL) semble changer la donne dans le traitement du langage naturel.
scanner le papier Et github. Tout le mérite de cette recherche revient aux chercheurs de ce projet. N’oubliez pas non plus de vous inscrire 14k + ML Sous RedditEt canal de discordeEt Courrieloù nous partageons les dernières nouvelles sur la recherche en IA, des projets d’IA sympas, et plus encore.
Tania Malhotra est en dernière année à l’Université d’études pétrolières et énergétiques de Dehradun, poursuivant un BTech en génie informatique avec une spécialisation en intelligence artificielle et en apprentissage automatique.
Elle est passionnée par la science des données et possède une bonne pensée analytique et critique, ainsi qu’un vif intérêt pour l’acquisition de nouvelles compétences, la direction de groupes et la gestion du travail de manière organisée.