Les entreprises technologiques et les forces de l’ordre peuvent détecter et réduire les risques liés aux systèmes d’intelligence artificielle (IA) en utilisant l’audit comme outil de gouvernance. En particulier, un audit est un processus systématique et impartial de collecte et d’analyse de données sur les opérations ou les actifs d’une entité, puis de communication des conclusions aux parties appropriées.
Trois idées sous-tendent la promesse de l’audit en tant que mécanisme de gouvernance de l’IA :
- La régularité et la transparence des procédures contribuent à la bonne gouvernance.
- La conception proactive du système d’IA aide à identifier les risques et à prévenir les dommages avant qu’ils ne surviennent.
- L’indépendance opérationnelle entre l’auditeur et l’entité auditée contribue à l’objectivité et au professionnalisme de l’évaluation. Les recherches antérieures sur l’audit de l’IA se sont concentrées sur la garantie que certaines applications sont conformes à des normes prédéterminées, souvent spécifiques à un secteur.
Par exemple, les chercheurs ont créé des protocoles pour auditer les systèmes d’IA utilisés pour les recherches sur Internet, les diagnostics médicaux et le recrutement.
🚨 Lisez notre dernière newsletter AI🚨
Cependant, les capacités des systèmes d’IA ont tendance à s’étendre avec le temps. L’expression « modèles de base » a été récemment inventée par Bommasani et al. Pour indiquer les modèles qui peuvent être transférés à différentes tâches finales via l’apprentissage par transfert. Techniquement, les modèles fondamentaux peuvent être plus nouveaux 1. Cependant, ils diffèrent des autres systèmes d’IA car ils sont efficaces dans diverses tâches et présentent des capacités émergentes lorsqu’ils sont mis à l’échelle. Alors que les modèles de base sont souvent formés et déployés par un seul acteur, puis modifiés pour de multiples applications par d’autres acteurs, la croissance des modèles de base signale également un changement dans la façon dont les systèmes d’IA sont construits et déployés. Les modèles de base présentent de sérieuses difficultés du point de vue de l’audit de l’IA.
Par exemple, il peut être difficile d’évaluer les risques présentés par les systèmes d’IA indépendamment de l’environnement dans lequel ils sont utilisés. Cet article se concentre sur un sous-ensemble de modèles de base, en particulier les grands modèles de langage (LLM), pour combler cette lacune. En outre, il doit également montrer comment la responsabilité des dommages sera répartie entre les fournisseurs de technologie et les développeurs en aval. Considérées collectivement, les capacités des modèles sous-jacents et des méthodes de formation ont progressé plus rapidement que les méthodes et outils utilisés pour évaluer leur solidité éthique, juridique et technologique. Cela suggère que des types supplémentaires de surveillance et de surveillance devraient être ajoutés aux audits au niveau des applications qui sont essentiels à la gouvernance de l’IA.
Les modèles de langage produisent les mots, le code ou d’autres séquences de données les plus probables en commençant par une source d’entrée connue sous le nom de vecteur. Historiquement, le traitement du langage naturel (NLP) a utilisé une variété de conceptions de modèles, y compris des techniques probabilistes. Cependant, la plupart des LLM actuels, y compris ceux sur lesquels porte cet article, sont construits à l’aide de réseaux de neurones profonds formés sur un grand nombre de textes. Les LLM incluent GPT-3, PaLM, LaMDA, Gopher et OPT. Après avoir suivi une pré-formation, le LLM peut être modifié (avec ou sans ajustement) pour servir une variété d’applications, y compris l’orthographe et l’écriture créative. Pour deux raisons, la création d’audits LLM est un effort important.
La capacité d’auditer les fonctionnalités LLM selon plusieurs dimensions normatives (telles que la confidentialité, les préjugés, la propriété intellectuelle, etc.) est une tâche critique en soi étant donné la nécessité de résoudre ces problèmes. Des recherches antérieures ont montré que le LLM pose de nombreux défis éthiques et sociaux, tels que la perpétuation de stéréotypes négatifs, la fuite d’informations personnellement identifiables protégées par les lois sur la confidentialité, la propagation de la désinformation, le plagiat et l’utilisation non autorisée de la propriété intellectuelle. CLIP a formé un modèle de langage visuel pour prédire le texte contenant une illustration.
CLIP n’est pas un LLM mais peut être personnalisé pour de nombreuses applications finales, d’autres modèles ont des problèmes de gouvernance similaires. Il en va de même pour les autres créateurs de robots comme DALLE2. À l’avenir, les audits d’autres modèles de base et de systèmes de production plus efficaces pourraient bénéficier d’audits LLM améliorés. Trois contributions innovantes à cet article. Ils commencent par souligner six points sur la façon dont les pratiques d’audit devraient être développées pour tenir compte des risques présentés par le LLM. Ces affirmations sont basées sur un examen des capacités et des limites des pratiques d’audit de l’IA existantes. Deuxièmement, ils fournissent un cadre pour l’examen MBA basé sur les procédures les plus efficaces pour la gouvernance informatique et l’architecture système. En particulier, ils proposent une stratégie à trois niveaux dans laquelle des audits de gouvernance (pour les fournisseurs de technologies qui conçoivent et distribuent des LLM), des revues de modèles (pour les LLM après la pré-formation mais avant la publication) et des revues d’applications (pour les applications basées sur des LLM) sont complémentaire. et s’informer mutuellement. (Voir la figure 1 ci-dessus) Troisièmement, ils abordent les lacunes de leur stratégie à trois niveaux et identifient les orientations potentielles pour une enquête plus approfondie.
Leur travail est lié au programme plus large et au processus de recherche de la formulation des politiques. Des organisations telles que DeepMind, Microsoft et Anthropic ont publié des recherches qui cartographient les risques de dommages causés par le LLM et soulignent la nécessité de nouveaux mécanismes de gouvernance pour relever un défi éthique connexe. Des laboratoires d’IA tels que Cohere, OpenAI et AI21 ont exprimé leur intérêt à comprendre ce que signifie développer un LLM de manière responsable. Les gouvernements souhaitent également faire en sorte que la société profite de l’utilisation du LLM tout en limitant les risques.
scanner le papier. Tout le mérite de cette recherche revient aux chercheurs de ce projet. N’oubliez pas non plus de vous inscrire 14k + ML Sous RedditEt canal de discordeEt Courrieloù nous partageons les dernières nouvelles sur la recherche en IA, des projets d’IA sympas, et plus encore.
Anish Teeku est consultant stagiaire chez MarktechPost. Il poursuit actuellement ses études de premier cycle en science des données et en intelligence artificielle à l’Institut indien de technologie (IIT) de Bhilai. Il passe la plupart de son temps à travailler sur des projets visant à exploiter la puissance de l’apprentissage automatique. Ses intérêts de recherche portent sur le traitement d’images et il est passionné par la création de solutions autour de celui-ci. Aime communiquer avec les gens et collaborer sur des projets intéressants.