La gamme en pleine expansion de modèles d’apprentissage en profondeur est une force majeure dans le développement de technologies de pointe et une préoccupation croissante concernant la consommation d’énergie, la vitesse et donc la faisabilité de l’apprentissage en profondeur à grande échelle. Récemment, des chercheurs de Cornell ont parlé des topologies de commutation, en particulier de la façon dont elles sont exponentiellement meilleures lorsqu’elles sont mises à l’échelle à des milliards, voire des billions de paramètres, ce qui a conduit à une augmentation exponentielle de l’utilisation de l’informatique d’apprentissage en profondeur. Ces onduleurs à grande échelle sont une solution courante mais coûteuse pour de nombreuses tâches, car l’efficacité énergétique des appareils numériques n’a pas suivi le rythme des exigences FLOP croissantes des modèles sophistiqués d’apprentissage en profondeur. Il fonctionne également de plus en plus admirablement dans d’autres domaines, tels que la vision par ordinateur, les graphiques et les paramètres multimédias.
Ils affichent également des habiletés d’apprentissage par transfert, qui leur permettent de généraliser rapidement à certaines activités, parfois dans un environnement sans heurts, sans avoir besoin de formation supplémentaire. Le coût de ces modèles et leurs capacités générales d’apprentissage automatique sont les principaux moteurs de la création d’accélérateurs matériels pour une inférence efficace et rapide. Le matériel d’apprentissage en profondeur a déjà été développé à grande échelle dans l’électronique numérique, y compris les unités de traitement graphique, les puces d’accélération matérielle mobile, les FPGA et les systèmes d’accélérateur personnalisés d’IA à grande échelle. Les réseaux de neurones optiques ont été proposés comme solutions offrant une meilleure efficacité et un meilleur temps de réponse que les applications de réseaux de neurones sur des ordinateurs numériques, entre autres approches. En même temps, il y a aussi beaucoup d’intérêt pour l’informatique analogique.
Bien que ces systèmes analogiques soient sujets au bruit et aux erreurs, les opérations de réseau de neurones peuvent souvent être mises en œuvre visuellement à un coût bien inférieur, le coût principal étant généralement les dépenses électriques associées aux poids de chargement et aux données consommant des données dans de grandes opérations linéaires. Ainsi, l’accélération de modèles massifs tels que Transformers est particulièrement prometteuse. En théorie, la mise à l’échelle est asymptotiquement plus efficace en termes de puissance par MAC que les systèmes numériques. Ici, ils montrent comment Transformers utilise de plus en plus cette analogie. Ils ont échantillonné les processus d’un transformateur de langage de modélisation réel pour les exécuter sur un système expérimental basé sur le modulateur de lumière spatial réel. Ils ont ensuite utilisé les résultats pour créer une simulation d’étalonnage d’un transducteur complet fonctionnant optiquement. Cela a été fait pour montrer que les transformateurs peuvent fonctionner sur ces systèmes malgré leurs caractéristiques de bruit et d’erreur.
🚨 Lisez notre dernière newsletter AI🚨
Dans leurs simulations utilisant les poids et les entrées obtenus à partir de ces expériences avec des erreurs systématiques, du bruit et de l’imprécision, ils ont découvert que les transformateurs fonctionnaient toujours presque aussi bien que ceux à commande numérique. Voici un résumé de leurs principales contributions :
• Ils ont établi des références pour les performances et les coûts énergétiques totaux des convertisseurs photovoltaïques par rapport à la taille du modèle et à l’utilisation de l’énergie optique. Ils ont montré expérimentalement que les opérations linéaires dans les convertisseurs peuvent être effectuées avec précision sur de vrais dispositifs optiques, malgré les erreurs et le bruit.
• À l’aide d’une conception basée sur leurs simulations et leurs tests, ils ont prédit la consommation d’énergie de l’ensemble de l’accélérateur ONN.
• Ils ont calculé que les optiques consomment beaucoup moins d’énergie que les processeurs avancés.
Bien que leurs simulations et leurs tests aient utilisé un élément matériel spécifique à titre d’illustration, leur objectif ici est plus large. Ils veulent savoir comment la mise à l’échelle de la puissance optique et du bruit est liée à la construction et aux performances du transformateur. En conséquence, presque toutes leurs conclusions s’appliquent généralement aux processeurs optiques linéaires, quelles que soient les spécificités de leur implémentation matérielle.
scanner le papier. Tout le mérite de cette recherche revient aux chercheurs de ce projet. N’oubliez pas non plus de vous inscrire 14k + ML Sous RedditEt canal de discordeEt Courrieloù nous partageons les dernières nouvelles sur la recherche en IA, des projets d’IA sympas, et plus encore.
Anish Teeku est consultant stagiaire chez MarktechPost. Il poursuit actuellement ses études de premier cycle en science des données et en intelligence artificielle à l’Institut indien de technologie (IIT) de Bhilai. Il passe la plupart de son temps à travailler sur des projets visant à exploiter la puissance de l’apprentissage automatique. Ses intérêts de recherche portent sur le traitement d’images et il est passionné par la création de solutions autour de celui-ci. Aime communiquer avec les gens et collaborer sur des projets intéressants.