Ce n’est un secret pour personne que les gens ont des préjugés – certains inconscients, peut-être, et d’autres douloureusement manifestes. La personne moyenne pourrait supposer que les ordinateurs – des machines généralement faites de plastique, d’acier, de verre, de silicium et de divers métaux – sont exempts de biais. Si cette hypothèse peut s’appliquer aux ordinateurs, il n’en va pas toujours de même pour les programmes informatiques, qui ont été programmés par des personnes faillibles et peuvent être alimentés par des données elles-mêmes vulnérables à certains égards.
Les systèmes d’intelligence artificielle (IA), notamment ceux basés sur l’apprentissage automatique, sont de plus en plus utilisés en médecine pour diagnostiquer certaines maladies, par exemple, ou évaluer les rayons X. Ces systèmes sont également utilisés pour soutenir la prise de décision dans d’autres domaines des soins de santé. Cependant, des recherches récentes ont montré que les modèles d’apprentissage automatique peuvent coder des préjugés contre des sous-groupes minoritaires, de sorte que les recommandations qu’ils formulent peuvent refléter ces mêmes préjugés.
Une nouvelle étude menée par des chercheurs du laboratoire d’informatique et d’intelligence artificielle (CSAIL) du MIT et de la clinique Jameel du MIT, publiée le mois dernier dans Médecine de la communication, évalue l’impact que peuvent avoir des modèles d’IA discriminatoires, notamment pour les systèmes destinés à fournir des conseils dans des situations d’urgence. “Nous avons constaté que la façon dont les conseils sont formulés peut avoir des répercussions importantes”, explique l’auteur principal de l’article, Hammad Adam, doctorant à l’Institut des systèmes de données et de la société du MIT. “Heureusement, les dommages causés par des modèles biaisés peuvent être réduits (mais pas nécessairement éliminés) lorsque les conseils sont donnés d’une manière différente.” Les autres auteurs de l’article sont Aparna Balagopalan et Emily Alsentzer, toutes deux doctorantes, et les professeurs Fotini Christia et Marzyeh Ghassemi.
Les modèles d’IA utilisés en médecine peuvent souffrir d’inexactitudes et d’incohérences, en partie parce que les données utilisées pour former les modèles ne sont souvent pas représentatives des paramètres du monde réel. Différents types d’appareils à rayons X, par exemple, peuvent enregistrer les choses différemment et donc donner des résultats différents. De plus, les modèles formés principalement sur des Blancs peuvent ne pas être aussi précis lorsqu’ils sont appliqués à d’autres groupes. le Médecine de la communication Le document ne se concentre pas sur des questions de cette nature, mais aborde plutôt les problèmes qui découlent des préjugés et les moyens d’atténuer les conséquences négatives.
Un groupe de 954 personnes (438 cliniciens et 516 non-experts) a participé à une expérience pour voir comment les biais de l’IA peuvent affecter la prise de décision. Les participants ont reçu des résumés d’appels d’une ligne téléphonique d’urgence fictive, chacun impliquant un homme traversant une urgence de santé mentale. Les résumés comprenaient des informations indiquant si l’individu était de race blanche ou afro-américaine et mentionnaient également sa religion s’il était musulman. Un résumé d’appel typique pourrait décrire une circonstance dans laquelle un homme afro-américain a été retrouvé chez lui dans un état de délire, déclarant qu’il n’avait «consommé ni drogue ni alcool, car il est un musulman pratiquant». Les participants à l’étude ont été invités à contacter la police s’ils pensaient qu’un patient était susceptible de devenir violent ; Sinon, ils ont été encouragés à consulter un médecin.
Les participants ont été divisés au hasard en un groupe témoin ou « de base » plus quatre autres groupes conçus pour tester les réponses dans des conditions légèrement différentes. “Nous voulons comprendre comment les modèles biaisés peuvent influencer les décisions, mais nous devons d’abord comprendre comment les préjugés humains peuvent influencer la prise de décision”, note Adam. Ce qu’ils ont trouvé dans leur analyse du groupe de base était quelque peu surprenant : “Lorsque nous avons examiné, les participants humains n’ont montré aucun parti pris. Cela ne veut pas dire que les humains ne sont pas biaisés, mais la façon dont nous avons communiqué des informations sur la race et la religion d’une personne. , de toute évidence, n’était pas assez puissant pour attiser leurs préjugés.
Les quatre autres groupes de l’expérience ont reçu des conseils provenant d’un modèle biaisé ou non biaisé, et ces conseils ont été donnés sous une forme «prescriptive» ou «descriptive». Un modèle biaisé est plus susceptible de recommander l’assistance de la police dans une situation impliquant un Afro-Américain ou un Musulman qu’un modèle impartial. Cependant, les participants à l’étude ne savaient pas de quel type de modèle provenaient leurs conseils, ni même que les modèles donnant les conseils pouvaient être biaisés. Les conseils prescriptifs indiquent en termes clairs ce que les participants doivent faire, leur indiquant qu’ils doivent contacter la police dans un cas ou demander une aide médicale dans un autre. Les conseils prescriptifs sont moins directs : un drapeau est affiché pour montrer que le système d’IA est conscient du risque de violence associé à tel ou tel appel ; Aucun drapeau n’est affiché si la menace de violence est faible.
L’une des principales conclusions de l’expérience, écrivent les auteurs, est que les participants ont été “fortement affectés par les recommandations d’orientation d’un système d’IA biaisé”. Mais ils ont également constaté que “l’utilisation de recommandations descriptives plutôt que prescriptives permettait aux participants de conserver leurs décisions originales et impartiales”. En d’autres termes, le biais intégré au modèle d’IA peut être réduit en élaborant de manière appropriée les conseils donnés. Pourquoi les différents résultats, selon la façon dont les conseils ont été demandés ? Adam explique que lorsqu’on demande à quelqu’un de faire quelque chose, comme appeler la police, cela ne laisse aucun doute. Cependant, lorsque seule la situation est décrite – classée avec ou sans drapeau – « cela laisse place à la propre interprétation du participant ; cela lui permet d’être plus flexible et de considérer lui-même la situation ».
Deuxièmement, les chercheurs ont constaté que les modèles linguistiques généralement utilisés pour donner des conseils sont facilement biaisés. Les modèles de langage sont une classe de systèmes d’apprentissage automatique qui sont entraînés sur du texte, comme l’intégralité du contenu de Wikipédia et d’autres supports Web. Lorsque ces modèles sont “ajustés” en s’appuyant sur un sous-ensemble de données beaucoup plus petit à des fins de formation – seulement 2 000 phrases, contre 8 millions de pages Web – les modèles résultants peuvent facilement être biaisés.
Troisièmement, l’équipe du MIT a découvert que les décideurs qui sont eux-mêmes impartiaux peuvent encore être induits en erreur par des recommandations faites par des modèles biaisés. La formation médicale (ou son absence) n’a pas modifié les réponses de manière significative. Les auteurs ont déclaré que “les cliniciens étaient autant touchés par les modèles biaisés que les non-experts”.
“Ces résultats pourraient être applicables ailleurs”, dit Adam, et ne se limitent pas nécessairement aux situations de soins de santé. Lorsqu’il s’agit de décider qui devrait recevoir un entretien d’embauche, les candidats noirs sont plus susceptibles d’être rejetés par un modèle biaisé. Les résultats pourraient toutefois être différents si un indicateur descriptif était joint au dossier au lieu de dire explicitement (et obligatoirement) à l’employeur de « rejeter ce candidat » pour indiquer le « possible manque d’expérience » du candidat.
Adam affirme que les implications de ce travail vont au-delà du simple fait de savoir comment traiter les individus en pleine crise de santé mentale. “Notre objectif ultime est de garantir que les modèles d’apprentissage automatique sont utilisés de manière équitable, sécurisée et robuste.”