Le traitement du langage naturel (TAL) a subi un changement de paradigme ces dernières années, les grands modèles de langage (LLM) surpassant auparavant les modèles de langage relativement petits (LM) tels que GPT-2, T5 Raffel et al. dans une variété de tâches PNL. Directed est l’approche du monde réel consistant à utiliser un LLM pour effectuer diverses tâches à l’aide d’instructions en langage naturel dans le contexte pour diriger le LLM afin de produire la sortie souhaitée sans mise à jour des paramètres, contrairement au modèle de réglage traditionnel où les paramètres des LM peuvent être mis à jour pour chaque tâche en aval.
Bien que ce schéma de stimulation ait permis au LLM de très bien fonctionner sur diverses tâches dans un environnement à volume nul ou faible, ses performances sur certaines tâches finales spécifiques doivent encore être améliorées et nécessitent une optimisation supplémentaire, en particulier lorsque des données de formation sont disponibles. Cependant, étant donné que la plupart des LLM n’offrent que des API d’inférence en boîte noire et qu’elles sont coûteuses à affiner, la plupart des utilisateurs et des universitaires ne peuvent pas améliorer directement les LLM. Par conséquent, le sujet difficile à résoudre est de savoir comment optimiser efficacement les performances LLM sur certaines tâches en aval, parfois avec des cas de formation limités. Une nouvelle étude de l’Université de Californie, Santa Barbara et Microsoft propose une architecture de stimulation directionnelle (DSP) qui exploite une boîte noire gelée LLM dans les tâches en aval à l’aide d’un petit LM accordable (RL).
Pour être plus précis, pour chaque texte d’entrée, un petit LM (appelé une politique LM) apprend à fournir une série de jetons discrets comme une invite, qui peut fournir des informations ou des instructions spécifiques sur l’échantillon d’entrée plutôt qu’une indication générale de la fonction . Pour guider la création du LLM vers un objectif souhaité, tel que des scores de performance plus élevés, l’incitation générée est mélangée à l’entrée d’origine et introduite dans le LLM. Ils utilisent initialement le réglage fin supervisé (SFT) avec le LM pré-formé en utilisant un petit nombre d’échantillons de formation regroupés. La formation vise à maximiser la récompense, définie comme des scores sur les mesures de performance finales de la génération LLM qui dépendent de l’incitation générée par la politique LM. Après une optimisation supplémentaire pour détecter de meilleurs stimuli, le LM raffiné initialise le LM de politique dans le RL.
🚨 Lisez notre dernière newsletter AI🚨
La figure 1 illustre un exemple de fonction de résumé. Pour aider le LLM à produire le résumé requis en fonction des mots-clés, les mots-clés agissent comme des déclencheurs (indices). La politique LM peut être améliorée en utilisant des scores de mesure d’évaluation tels que ROUGE comme motivation et en les motivant à fournir des mots-clés qui dirigent le LLM pour produire de meilleurs résumés. Bien que le LLM possède d’excellentes compétences de génération, il affiche fréquemment des comportements indésirables, nécessitant des conseils attentifs sur les caractéristiques de génération prévues et la direction de certaines affectations en aval. C’est la base de leur approche proposée. La micropolitique LM peut produire une série de symboles en tant que stimulus dirigé pour donner à l’échantillon LLM des indications précises vers la cible visée, mais ne peut pas produire de transcriptions de type discours humain.
تقدم RL حلاً طبيعيًا لسد الفجوة بين الكائن المُحسَّن (على سبيل المثال ، السياسة الصغيرة LM التي تولد الحافز) وهدف التحسين الذي حدده جيل LLM ، على عكس الدراسات السابقة التي تجد المحفزات المثلى من خلال الهندسة / التحسين الفوري ، والتي تحاول لشرح “السؤال” بشكل plus clair. Leur approche tente de fournir des « indices » ou des « signaux » pour chaque « question ». Il est également différent de l’invite séquentielle qui encourage le LLM à créer des étapes de raisonnement intermédiaires lors de la résolution de tâches d’inférence. Leur approche utilise un petit modèle ajustable pour contrôler et diriger le LLM et cible les tâches de génération où il n’y a pas de bonne « réponse » unique. Ils évaluent leur cadre sur les tâches de synthèse et de dialogue pour générer la réponse.
Le petit LM de politique qui crée le stimulus, par exemple, est un objet d’optimisation, mais le LLM de production définit la cible d’optimisation. RL fournit un moyen simple de combler cette lacune. Contrairement aux enquêtes précédentes, celle-ci tente de clarifier la “question” en utilisant une ingénierie ou une optimisation rapide. Leur stratégie s’efforce de fournir des « indices » ou des « signaux » pour chaque « question ». Elle est également différente de la stimulation de la chaîne de pensée, qui encourage l’esprit à produire des étapes intermédiaires pour réfléchir par lui-même tout en accomplissant des tâches qui nécessitent de la logique. Leur méthode cible les fonctions générées avec plus d’une “réponse” valide et utilise un modèle accordable simple pour organiser et diriger le LLM. Pour les devoirs qui nécessitent l’élaboration de réponses et de résumés de discussion, ils évaluent leur propre cadre. Ils effectuent des tests avec 750M Flan-T5-large comme politique LM et 175B Codex comme LLM. Selon les résultats des tests, lorsque le Codex est basé sur les indicateurs produits par le T5 modifié, ses performances dans les tâches en aval augmentent considérablement. Les mots-clés que le résumé doit contenir sont utilisés comme déclencheurs de guidage pour la fonction de résumé. Les performances de Codex se sont peut-être déjà améliorées de 7,2 % avec T5, qui a été formé à l’aide de 2 000 échantillons de l’ensemble de données CNN/Daily Mail.
Pour développer des travaux conversationnels qui identifient le sens voulu derrière les réponses ciblées à 500 boîtes de dialogue de l’ensemble de données MultiWOZ, ils forment la politique LM. La performance du Codex a augmenté de 52,5 % du score total grâce aux actions de dialogue produites par LM Politics. Il fonctionne aussi bien ou mieux que les systèmes précédents formés avec des données de formation complètes (8438 dialogues).
scanner le papier. Tout le mérite de cette recherche revient aux chercheurs de ce projet. N’oubliez pas non plus de vous inscrire 14k + ML Sous RedditEt canal de discordeEt Courrieloù nous partageons les dernières nouvelles sur la recherche en IA, des projets d’IA sympas, et plus encore.
Anish Teeku est consultant stagiaire chez MarktechPost. Il poursuit actuellement ses études de premier cycle en science des données et en intelligence artificielle à l’Institut indien de technologie (IIT) de Bhilai. Il passe la plupart de son temps à travailler sur des projets visant à exploiter la puissance de l’apprentissage automatique. Ses intérêts de recherche portent sur le traitement d’images et il est passionné par la création de solutions autour de celui-ci. Aime communiquer avec les gens et collaborer sur des projets intéressants.