Développer les meilleurs modèles de grande taille, des agents RL optimisés pour le calcul et des systèmes d’IA plus transparents, éthiques et équitables
La 36e Conférence internationale sur les systèmes de traitement de l’information neuronale (NeurIPS 2022) se tient du 28 novembre au 9 décembre 2022, en tant qu’événement hybride, et est basée à la Nouvelle-Orléans, aux États-Unis.
NeurIPS est la plus grande conférence au monde sur l’intelligence artificielle (IA) et l’apprentissage automatique (ML), et nous sommes fiers de soutenir l’événement en tant que sponsor diamant, contribuant à favoriser l’échange des développements de la recherche dans la communauté de l’IA et de l’apprentissage automatique.
Les équipes de DeepMind présentent 47 articles, dont 35 collaborations externes dans des panels virtuels et des sessions d’affiches. Voici une brève introduction à certaines des recherches que nous offrons :
Les meilleurs grands modèles de leur catégorie
Les grands modèles (LM) – des systèmes d’IA génératifs entraînés sur d’énormes quantités de données – ont abouti à des performances impressionnantes dans des domaines tels que la génération de langage, de texte, de voix et d’images. Une partie de leur succès est due à leur taille.
Cependant, dans Chinchilla, nous avons créé un modèle avec un langage de 70 milliards de variables qui surpasse plusieurs modèles plus grands, dont Gopher. Nous avons mis à jour les lois d’échelle pour les grands modèles, montrant comment les modèles pré-formés étaient trop grands pour la quantité de formation effectuée. Ce travail a déjà façonné d’autres modèles qui suivent ces règles mises à jour, créant des modèles plus légers et meilleurs, et a remporté le prix Outstanding Main Track Paper Award de la conférence.
Sur la base de Chinchilla et de nos modèles multimodaux NFNets et Perceiver, nous introduisons également Flamingo, une famille de modèles d’apprentissage du langage visuel à bas cadre. En travaillant avec des images, des vidéos et des données textuelles, Flamingo est un pont entre les modèles uniquement visuels et uniquement linguistiques. Le modèle unique Flamingo met un nouvel état de l’art dans l’apprentissage à court terme sur un large éventail de tâches multimodales de bout en bout.
Cependant, l’échelle et l’architecture ne sont pas les seuls facteurs importants pour la force des modèles basés sur Transformer. Les propriétés des données jouent également un rôle important, dont nous discutons dans une présentation sur les propriétés des données améliorant l’apprentissage contextuel dans les modèles d’adaptateur.
Amélioration de l’apprentissage par renforcement
L’apprentissage par renforcement (RL) s’est révélé très prometteur en tant qu’approche pour créer des systèmes d’intelligence artificielle généralisés capables de gérer un large éventail de tâches complexes. Cela a conduit à des percées dans de nombreux domaines, de Go to Math, et nous recherchons toujours des moyens de rendre les agents RL plus intelligents et plus agiles.
Nous présentons une nouvelle approche qui améliore les capacités de prise de décision des agents RL d’une manière efficace sur le plan informatique en élargissant considérablement la gamme d’informations disponibles pour la récupération.
Nous démontrerons également une approche conceptuellement simple mais générale de l’exploration basée sur la curiosité dans des environnements visuellement complexes – un agent RL appelé BYOL-Explore. Il offre de super performances tout en étant résistant au bruit et en étant beaucoup plus simple que le travail précédent.
Progression arithmétique
De la compression des données à l’exécution de simulations en passant par la prévision de la météo, les algorithmes sont une partie essentielle de l’informatique moderne. Ainsi, des améliorations progressives peuvent avoir un impact énorme lorsque vous travaillez à grande échelle, en aidant à économiser de l’énergie, du temps et de l’argent.
Nous partageons une méthode radicalement nouvelle et hautement évolutive pour la formation automatique de réseaux informatiques, basée sur un raisonnement algorithmique neuronal, démontrant que notre approche hautement agile est jusqu’à 490 fois plus rapide que l’état de l’art actuel, tout en satisfaisant la majorité des contraintes d’entrée .
Au cours de la même session, nous présentons également une exploration rigoureuse du concept théorique antérieur d’« alignement informatique », soulignant la relation subtile entre les réseaux de neurones de graphes et la programmation dynamique, et la meilleure façon de les combiner pour améliorer les performances en dehors de la distribution.
Diriger de manière responsable
Au cœur de la mission de DeepMind se trouve notre engagement à servir de leaders responsables dans le domaine de l’intelligence artificielle. Nous nous engageons à développer des systèmes d’IA transparents, éthiques et équitables.
Expliquer et comprendre le comportement des systèmes d’IA complexes est un élément essentiel de la création de systèmes équitables, transparents et précis. Nous fournissons un ensemble de désirs qui capturent ces aspirations et décrivons une méthode pratique pour les atteindre, qui consiste à entraîner un système d’intelligence artificielle à construire un modèle causal de lui-même et à lui permettre d’expliquer son comportement de manière significative.
Pour opérer en toute sécurité et de manière éthique dans le monde, les agents d’IA doivent être capables de considérer les dommages et d’éviter les actions nuisibles. Nous présenterons un travail collaboratif sur une nouvelle métrique statistique appelée contre-dommage, et montrerons comment elle surmonte les problèmes grâce à des méthodes standard pour éviter les politiques malveillantes.
Enfin, nous présentons notre nouvel article proposant des méthodes de diagnostic et d’atténuation des défaillances de l’équité des modèles causées par les transformations de la distribution, démontrant l’importance de ces problèmes pour le déploiement de technologies ML sécurisées dans les établissements de santé.
Voir l’étendue complète de notre travail à NeurIPS 2022 ici.