Lancé en novembre 2022, ChatGPT est un chatbot qui peut non seulement s’engager dans une conversation de type humain, mais également fournir des réponses précises à des questions dans un large éventail de domaines de connaissances. Créé par OpenAI, le chatbot est basé sur une famille de “grands modèles de langage” – des algorithmes capables de reconnaître, de prédire et de générer du texte en fonction de modèles qu’il identifie dans des ensembles de données contenant des centaines de millions de mots.
dans une étude Présentés dans PLOS Digital Health cette semaine, les chercheurs rapportent que ChatGPT a atteint ou proche du seuil de réussite de l’examen de licence médicale des États-Unis (USMLE), un examen complet en trois parties que les médecins doivent réussir avant de pratiquer la médecine aux États-Unis. dans un éditorial Accompagnant la recherche, Leo Anthony Seeley, chercheur principal à l’Institute of Medical Engineering and Science du MIT, médecin praticien au Beth Israel Deaconess Medical Center et professeur agrégé à la Harvard Medical School, et ses collègues affirment que le succès de ChatGPT dans ce test devrait être un signal d’alarme pour la communauté médicale. .
s : Comment pensez-vous que le succès de ChatGPT sur l’USMLE révèle la nature de l’éducation médicale et de l’évaluation des étudiants ?
une: Le cadrage des connaissances médicales comme quelque chose qui peut être encapsulé dans des questions à choix multiples crée un cadrage épistémologique de fausse certitude. Les connaissances médicales sont souvent enseignées comme des représentations archétypales statiques de la santé et de la maladie. Les effets du traitement sont présentés comme stables dans le temps malgré des modèles de pratique en constante évolution. Les modèles instrumentaux sont transmis des enseignants aux étudiants sans mettre l’accent sur la robustesse de ces modèles, les incertitudes qui subsistent à leur sujet et la manière dont ils doivent être recalibrés pour refléter les développements qui méritent d’être intégrés dans la pratique.
ChatGPT a réussi un test qui récompense la préservation des composants du système plutôt que l’analyse de son fonctionnement, de son échec, de sa création et de sa maintenance. Son succès illustre certaines des lacunes dans la façon dont les étudiants en médecine sont formés et évalués. La pensée critique nécessite une appréciation du fait que les faits fondamentaux en médecine changent constamment et, plus important encore, une compréhension de comment et pourquoi ils changent.
s : Selon vous, quelles mesures la communauté médicale devrait-elle prendre pour modifier la façon dont les étudiants sont enseignés et évalués ?
une: L’apprentissage consiste à utiliser l’ensemble des connaissances existantes, à comprendre ses lacunes et à s’efforcer de combler ces lacunes. Cela nécessite que vous soyez à l’aise et capable d’enquêter sur les incertitudes. Nous échouons en tant qu’enseignants en n’enseignant pas aux élèves comment comprendre les lacunes dans l’ensemble actuel des connaissances. Nous leur manquons quand nous prêchons la certitude de la curiosité et l’arrogance de l’humilité.
L’éducation médicale exige également de reconnaître les préjugés dans la façon dont les connaissances médicales sont créées et validées. Ces biais sont mieux traités en améliorant la diversité cognitive au sein de la communauté. Il est plus que jamais nécessaire d’inspirer l’apprentissage collaboratif et interdisciplinaire et la résolution de problèmes. Les étudiants en médecine ont besoin de compétences en science des données qui permettront à chaque clinicien de contribuer, d’évaluer et de recalibrer en permanence les connaissances médicales.
s : Voyez-vous un avantage dans le succès de ChatGPT dans ce test ? Existe-t-il des façons bénéfiques pour ChatGPT et d’autres formes d’IA de contribuer à la pratique de la médecine ?
une: Il ne fait aucun doute que les grands modèles linguistiques (LLM) comme ChatGPT sont des outils très puissants pour passer au crible le contenu au-delà des capacités des experts, voire des groupes d’experts, et extraire des connaissances. Cependant, nous devrons résoudre le problème du biais des données avant de pouvoir tirer parti du LLM et d’autres technologies d’IA. Le contenu et la recherche d’institutions bien financées dans des pays à revenu élevé dominent l’ensemble des connaissances pour lesquelles le LLM est formé, à la fois dans le domaine médical et au-delà. Il ne représente pas la majeure partie du monde.
Nous avons également appris que même les modèles mécanistes de la santé et de la maladie peuvent être biaisés. Ces entrées sont transmises à des codeurs et des convertisseurs qui ne sont pas conscients de ces biais. Les faits de base en médecine changent constamment et, à l’heure actuelle, il n’y a aucun moyen de déterminer quand les faits de base se sont éloignés. Les LLM n’évaluent pas la qualité et le parti pris du contenu sur lequel ils sont formés. Il n’introduit pas non plus le niveau d’incertitude autour de sa production. Mais la perfection ne doit pas être l’ennemie du bien. Il existe une énorme opportunité d’améliorer la façon dont les prestataires de soins de santé prennent actuellement des décisions cliniques, qui, nous le savons, sont entachées de préjugés inconscients. Je ne doute pas que l’IA tiendra ses promesses une fois la saisie des données améliorée.