Les scientifiques cognitifs ont longtemps cherché à comprendre ce qui rend certaines phrases plus difficiles à comprendre que d’autres. Les chercheurs pensent que tout compte rendu de la compréhension du langage bénéficiera de la compréhension des difficultés de compréhension.
Ces dernières années, les chercheurs ont réussi à développer deux modèles qui expliquent deux types importants de difficulté à comprendre et à produire des phrases. Bien que ces modèles prédisent avec succès des schémas spécifiques de difficultés de compréhension, leurs prédictions sont limitées et ne correspondent pas exactement aux résultats des expériences comportementales. De plus, jusqu’à récemment, les chercheurs étaient incapables d’intégrer ces deux modèles dans un récit cohérent.
Une nouvelle étude menée par des chercheurs du Département des sciences cérébrales et cognitives (BCS) du MIT fournit désormais un tel compte rendu standardisé des difficultés de compréhension du langage. S’appuyant sur les avancées récentes de l’apprentissage automatique, les chercheurs ont développé un modèle qui prédit mieux la facilité, ou l’absence de facilité, avec laquelle les individus produisent et comprennent des phrases. Ils ont récemment publié leurs conclusions dans Actes de l’Académie nationale des sciences.
Les principaux auteurs de l’article sont les professeurs de BCS Roger Levy et Edward (Ted) Gibson. L’auteur principal est Michael Hahn, ancien étudiant invité de Levy et Gibson et maintenant professeur à l’Université de la Sarre. Le deuxième auteur est Richard Futrell, un autre ancien élève de Levy et Gibson qui est maintenant professeur à l’Université de Californie à Irvine.
“Il ne s’agit pas simplement d’une version élargie des comptes rendus existants sur les difficultés de compréhension”, déclare Gibson. “Nous fournissons une nouvelle approche théorique fondamentale qui permet de meilleures prédictions.”
Les chercheurs se sont appuyés sur les deux modèles existants pour créer un compte rendu théorique unifié de la difficulté de compréhension. Chacun de ces anciens paradigmes identifie une cause distincte de compréhension frustrée : difficulté d’anticipation et difficulté de rappel de la mémoire. Nous avons du mal à prévoir quand une phrase ne nous permet pas d’anticiper facilement ses prochains mots. Nous avons du mal à nous souvenir quand nous avons du mal à suivre une phrase qui a une structure complexe de phrases imbriquées, comme : “Le fait qu’un médecin qui n’a pas la confiance d’un avocat contrarie un patient est surprenant.”
En 2020, Futrell a créé pour la première fois une théorie qui unifie ces deux modèles. Il a fait valoir que les limites de la mémoire affectent non seulement le rappel des phrases avec des phrases intégrées, mais infectent toute la compréhension linguistique; Nos limitations de mémoire ne nous permettent pas de représenter parfaitement les contextes de phrases tout en comprenant le langage en général.
Ainsi, selon ce modèle unifié, les limitations de la mémoire peuvent créer une nouvelle source de difficulté dans l’anticipation. Nous pourrions avoir du mal à anticiper un mot entrant dans une phrase même si le mot est facilement prévisible à partir du contexte – si le contexte de la phrase elle-même est difficile à garder en mémoire. Considérons, par exemple, une phrase commençant par les mots “Bob a jeté la poubelle…” Nous pouvons facilement anticiper le dernier mot – “sortez”. Mais si le contexte de la phrase précédant le dernier mot est plus complexe, des difficultés de prédiction surgissent : “Bob a jeté la vieille poubelle qui était restée dans la cuisine pendant des jours (dehors).”
Les chercheurs déterminent la difficulté de compréhension en mesurant le temps qu’il faut aux lecteurs pour répondre à diverses tâches de compréhension. Plus le temps de réponse est long, plus il est difficile de comprendre une phrase particulière. Les résultats des expériences précédentes ont montré que le récit standardisé de Futrell prédisait mieux les difficultés de compréhension des lecteurs que les deux modèles plus anciens. Mais son modèle n’a pas identifié les parties de la phrase que nous avons tendance à oublier – et comment cet échec à récupérer la mémoire trouble la compréhension.
La nouvelle étude de Han comble ces lacunes. Dans le nouvel article, des scientifiques cognitifs du MIT se joignent à Futrell pour proposer un modèle amélioré qui sous-tend un nouveau cadre théorique cohérent. Le nouveau modèle identifie et corrige les éléments manquants dans le calcul unifié de Futrell et fournit de nouvelles prédictions précises qui correspondent mieux aux résultats des expériences expérimentales.
Comme dans le modèle original de Futrell, les chercheurs partent de l’idée que notre cerveau, en raison de limitations de mémoire, ne représente pas parfaitement les phrases que nous rencontrons. Mais ils ajoutent à ce principe théorique de compétence cognitive. Ils suggèrent que le cerveau a tendance à déployer ses ressources de mémoire limitées d’une manière qui améliore sa capacité à prédire avec précision l’entrée de nouveaux mots dans les phrases.
Cette idée conduit à plusieurs prédictions empiriques. Selon une prédiction majeure, les lecteurs compensent les représentations incomplètes de la mémoire en s’appuyant sur leur connaissance de la synchronicité statistique des mots afin de reconstruire implicitement les phrases qu’ils ont lues dans leur esprit. Les phrases contenant des mots et expressions rares sont donc difficiles à mémoriser complètement, ce qui rend difficile l’anticipation des mots suivants. Par conséquent, ces phrases sont généralement plus difficiles à comprendre.
Pour évaluer si cette prédiction correspond à notre comportement linguistique, les chercheurs ont utilisé GPT-2, un outil de langage naturel basé sur l’intelligence artificielle et basé sur la modélisation de réseaux neuronaux. Cet outil d’apprentissage automatique, publié pour la première fois en 2019, a permis aux chercheurs de tester le modèle sur des données textuelles à grande échelle d’une manière qui n’était pas possible auparavant. Mais la puissante capacité de modélisation du langage de GPT-2 a également créé un problème : contrairement aux humains, une mémoire GPT-2 entièrement pure représente tous les mots des textes très longs et complexes qu’elle traite. Pour caractériser plus précisément la compréhension du langage humain, les chercheurs ont ajouté un composant qui simulait des limitations humaines sur les ressources de mémoire – comme dans le modèle original de Futrell – et ont utilisé des techniques d’apprentissage automatique pour améliorer la façon dont ces ressources sont utilisées – comme dans leur nouveau modèle proposé. Le modèle résultant maintient la capacité de GPT-2 à prédire avec précision les mots la plupart du temps, mais montre des divisions de type humain dans les instances de phrases avec de rares combinaisons de mots et de phrases.
“C’est une merveilleuse illustration de la façon dont les outils modernes d’apprentissage automatique peuvent faire progresser la théorie cognitive et notre compréhension du fonctionnement de l’esprit”, déclare Gibson. “Nous n’aurions pu faire cette recherche ici qu’il y a quelques années.”
Les chercheurs ont alimenté le modèle d’apprentissage automatique avec un ensemble de phrases avec des clauses intégrées complexes telles que “Le rapport selon lequel un médecin qui ne fait pas confiance à un avocat a bouleversé un patient était surprenant”. Les chercheurs ont ensuite pris ces phrases et remplacé les noms d’introduction – “rapport” dans l’exemple ci-dessus – par d’autres noms, chacun ayant une probabilité d’apparaître avec la phrase suivante ou non. Certains noms facilitaient les phrases à créneaux horaires afin que le programme d’IA puisse les “comprendre”. Par exemple, le modèle a pu prédire avec plus de précision comment ces phrases se termineraient lorsqu’elles commenceraient par l’expression courante « vrai » que lorsqu’elles commenceraient par l’expression rare « détermine cela ».
Les chercheurs ont ensuite confirmé les résultats basés sur l’IA en menant des expériences avec des participants qui avaient lu des phrases similaires. Leurs temps de réponse aux tâches de préhension étaient similaires à ceux des prédictions du modèle. “Lorsque les phrases commençaient par les mots” signalez-le “, les gens avaient tendance à se souvenir de la phrase de manière déformée”, explique Gibson. Le phrasé rare restreignait davantage leur mémoire et, par conséquent, leur compréhension.
Ces résultats montrent que le nouveau modèle surpasse les modèles existants pour prédire comment les humains traitent le langage.
Une autre caractéristique que le modèle démontre est sa capacité à faire des prédictions différentes d’une langue à l’autre. “Les modèles précédents étaient connus pour expliquer pourquoi certaines structures linguistiques, telles que les phrases avec des clauses en ligne, ont généralement des difficultés à fonctionner avec des contraintes de mémoire, mais notre nouveau modèle peut expliquer pourquoi les mêmes contraintes se comportent différemment dans différentes langues”, explique Levy. “Les phrases avec des clauses intermédiaires, par exemple, sonnent plus facilement pour les locuteurs allemands que pour les anglophones natifs, car les locuteurs allemands sont habitués à lire des phrases où les clauses subordonnées poussent le verbe à la fin de la phrase.”
Selon Levy, des recherches supplémentaires sur le formulaire sont nécessaires pour déterminer les causes de la représentation inexacte des phrases autres que les phrases en ligne. “Il existe d’autres types de ‘confusions’ que nous devons tester.” Dans le même temps, ajoute Han, “le modèle peut anticiper d’autres” confusions “que personne n’a même envisagées. Nous essayons maintenant de les trouver et de voir si elles affectent la compréhension humaine comme prévu”.
Une autre question pour les études futures est de savoir si le nouveau paradigme conduira à repenser une longue lignée de recherches axées sur les difficultés d’intégration des phrases : “De nombreux chercheurs ont souligné les difficultés liées au processus dans lequel nous reconstruisons les structures linguistiques dans nos esprits, ” dit Lévy. “Le nouveau paradigme pourrait montrer que la difficulté n’est pas liée au processus de reconstruction mentale de ces phrases, mais à la préservation de la représentation mentale une fois qu’elle a déjà été établie. La grande question est de savoir s’il s’agit ou non de deux choses distinctes.”
D’une manière ou d’une autre, ajoute Gibson, “ce type de travail marque l’avenir de la recherche sur ces questions”.