Les dossiers de santé électroniques (DSE) ont besoin d’un nouveau responsable des relations publiques. Il y a dix ans, le gouvernement américain a adopté une loi qui encourageait fortement l’adoption des dossiers de santé électroniques dans le but d’améliorer et de simplifier les soins. La grande quantité d’informations contenues dans ces enregistrements numériques peut désormais être utilisée pour répondre à des questions très spécifiques en dehors des essais cliniques : quelle est la dose appropriée de ce médicament pour les patients de cette taille et de ce poids ? Qu’en est-il des patients avec un profil génomique spécifique ?
Malheureusement, la plupart des données qui peuvent répondre à ces questions se limitent à des notes de médecins remplies de jargon et d’abréviations. Un tel retour d’information est difficile à comprendre pour les ordinateurs avec les technologies actuelles – l’extraction des informations nécessite la formation de nombreux modèles d’apprentissage automatique. Les modèles formés pour un hôpital ne fonctionnent pas non plus bien dans un autre, et la formation de chaque modèle nécessite des experts dans le domaine pour étiqueter de nombreuses données, ce qui est un processus long et coûteux.
Un système idéal utiliserait un modèle unique capable d’extraire de nombreux types d’informations, de bien fonctionner dans plusieurs hôpitaux et d’apprendre à partir d’une petite quantité de données étiquetées. mais comment? Des chercheurs du Laboratoire d’informatique et d’intelligence artificielle du MIT (CSAIL) dirigé par Monica Agrawal, doctorante en génie électrique et en informatique, pensent que pour séparer les données, ils doivent invoquer quelque chose de plus grand : de grands modèles de langage. Pour extraire ces informations médicales importantes, ils ont utilisé un très grand formulaire de style GPT-3 pour des tâches telles que le développement de termes et d’acronymes surchargés et l’extraction de systèmes de médicaments.
Par exemple, le système prend une entrée, qui dans ce cas est une note clinique, et “invite” le modèle avec une question sur l’observation, telle que “Développer cet acronyme, CTA”. Le système renvoie une sortie telle que “clair à l’auscultation” contrairement à l’angiographie CT. L’équipe affirme que l’objectif de l’extraction de ces données propres est de permettre en fin de compte des recommandations cliniques plus personnalisées.
Les données médicales sont, à juste titre, une ressource très difficile à naviguer librement. L’utilisation de ressources publiques pour tester les performances de grands modèles entraîne de nombreuses formalités administratives en raison des limitations d’utilisation des données. L’équipe a donc décidé de disposer conjointement de ses propres ressources. À l’aide d’une collection d’extraits cliniques courts et accessibles au public, ils ont regroupé un petit ensemble de données pour permettre l’évaluation des performances d’extraction de grands modèles de langage.
“Il est difficile de développer un système de traitement du langage naturel clinique unique et polyvalent qui répondrait aux besoins de chacun et serait robuste face à l’énorme diversité observée dans les ensembles de données sur la santé. Par conséquent, même aujourd’hui, la plupart des observations cliniques ne sont pas utilisées pour les analyses en aval. ou pour une aide directe à la décision dans les dossiers de santé. » Les progrès réalisés par l’équipe de recherche sont impressionnants, déclare David Sontag, professeur de génie électrique et d’informatique au MIT, chercheur principal au CSAIL et à l’Institute of Medical Engineering and Sciences et co-auteur d’un article sur les travaux, qui sera présenté lors de la conférence Experimental Methods in Natural Language Processing.L’extraction d’informations cliniques sans un seul coup rend possible la mise à l’échelle. Même si vous avez des centaines de cas d’utilisation différents, pas de problème – vous pouvez créer chaque formulaire en quelques minutes de travail, au lieu d’avoir à étiqueter beaucoup de données pour cette tâche spécifique.”
Par exemple, sans aucune étiquette, les chercheurs ont découvert que ces modèles pouvaient atteindre une précision de 86 % dans l’expansion des abréviations surchargées, et l’équipe a développé des méthodes supplémentaires pour augmenter cette précision à 90 %, sans qu’aucune étiquette ne soit encore nécessaire. .
Emprisonnement dans les dossiers médicaux électroniques
Les experts construisent régulièrement de grands modèles de langage (LLM) depuis un certain temps, mais se sont généralisés avec la capacité largement couverte de GPT-3 à compléter des phrases. Les LLM sont formés sur une quantité massive de texte provenant d’Internet pour terminer des phrases et prédire le prochain mot le plus probable.
Bien que les modèles précédents plus petits, tels que les précédentes itérations GPT ou BERT, aient bien fonctionné pour l’extraction de données médicales, ils nécessitent toujours des efforts importants pour marquer manuellement les données.
Par exemple, la note « pt will dc vanco due to n/v » signifie que ce patient (pt) prenait l’antibiotique vancomycine (vanco) mais a eu des nausées et des vomissements (n/v) suffisamment graves pour que l’équipe soignante arrête (ds) médicaments. Les recherches de l’équipe évitent le statu quo consistant à former des modèles d’apprentissage automatique distincts pour chaque tâche (extraction du médicament, effets secondaires du registre, démystification des acronymes courants, etc.). En plus d’élargir les acronymes, ils ont étudié quatre autres tâches, notamment si les modèles pouvaient analyser les essais cliniques et extraire des schémas thérapeutiques riches en détails.
Des travaux antérieurs ont montré que ces modèles sont sensibles à une articulation vectorielle précise. Une partie de notre contribution technique est un moyen de formater le vecteur afin que le modèle vous donne une sortie dans le bon format”, explique Hunter Lang, doctorant au CSAIL et auteur de l’article. “Pour ces problèmes d’extraction, il existe des espaces de sortie structurés. . L’espace de sortie n’est pas simplement une chaîne. peut être une liste. Il peut s’agir d’une citation de l’entrée d’origine. Il y a donc plus de structure qu’un simple texte libre. Une partie de notre contribution à la recherche consiste à encourager le modèle à vous donner une sortie avec la bonne structure. Cela réduit considérablement le temps post-traitement.
Cette approche ne peut pas être appliquée aux données de santé standard dans un hôpital : cela nécessiterait l’envoi d’informations privées sur les patients via Internet ouvert à un fournisseur de LLM tel qu’OpenAI. Les auteurs montrent qu’il est possible de surmonter cela en distillant le modèle sous une forme plus petite pouvant être utilisée sur site.
Le modèle – parfois tout comme les gens – n’est pas toujours redevable à la vérité. Voici à quoi pourrait ressembler un problème potentiel : Disons que vous demandez pourquoi quelqu’un prend des médicaments. Sans barrières et contrôles appropriés, le formulaire peut produire la cause la plus fréquente de ce médicament, si rien n’est expressément indiqué dans la note. Cela a conduit les efforts de l’équipe à forcer le modèle à extraire plus de citations des données et moins de texte libre.
Les travaux futurs de l’équipe comprennent l’extension à des langues autres que l’anglais, la création de méthodes supplémentaires pour mesurer l’incertitude du modèle et l’obtention de résultats similaires à l’aide de modèles open source.
« Les informations cliniques enfouies dans des notes cliniques non structurées présentent des défis uniques par rapport au texte du domaine public, principalement en raison de l’utilisation intensive d’acronymes et des styles de texte incohérents utilisés dans les établissements de santé. à CVS Health, qui n’a pas participé à la recherche. À cette fin, ce travail présente un paradigme intéressant pour exploiter la puissance des grands modèles de langage du domaine public pour plusieurs tâches importantes de la PNL clinique sans/quelques-coups Plus précisément, la conception orientée vers l’instant proposée de LLM peut générer plus de structures résultats pour le développement ultérieur de modèles déployables plus petits grâce à l’utilisation itérative du modèle généré à partir de pseudo-étiquettes.
“L’intelligence artificielle s’est accélérée au cours des cinq dernières années à tel point que ces grands modèles peuvent prédire des recommandations contextuelles avec des avantages qui s’étendent à une variété de domaines tels que la suggestion de nouvelles combinaisons de médicaments, la compréhension de textes non structurés, des recommandations programmatiques ou la création d’œuvres d’art inspirées par n’importe quel nombre d’artistes ou de modèles humains », explique Parminder Bhatia, qui était auparavant responsable de l’apprentissage automatique chez AWS Health AI et est actuellement responsable de l’apprentissage automatique pour les applications à faible code tirant parti des grands modèles de langage chez AWS AI Labs.
Dans le cadre de la clinique MIT Abdul Latif Jameel pour l’apprentissage automatique en santé, Agrawal, Sontag et Lang ont rédigé l’article avec Yoon Kim, professeur associé au MIT et chercheur principal au CSAIL, et Stefan Hegelsmann, doctorant invité de l’Université de Munster. La recherche du premier auteur d’Agrawal a été soutenue par une bourse Takeda, le MIT Deshpande Center for Technology Innovation et MLA @ CSAIL Initiatives.