Vous n’avez pas accès à tout ce capital ou à l’espace pour tout ce matériel pour votre projet LLM ? Le DGX Cloud de Nvidia est une tentative de vendre un accès Web à distance pour la même chose.
Annoncé aujourd’hui lors de la GPU Technology Conference 2023 de la société, le service loue des versions virtuelles des boîtiers DGX Server, chacun contenant huit GPU Nvidia H100 ou A100 et 640 Go de mémoire. Le service comprend des connexions à près de 32 000 GPU, du stockage, des logiciels et “un accès direct aux experts Nvidia AI qui optimisent votre code”, à partir de 36 999 $ par mois pour le niveau A100.
Je me demande combien Nvidia paie Microsoft pour vous louer son propre matériel
Pendant ce temps, une boîte physique DGX Server peut coûter jusqu’à 200 000 $ pour le même matériel si vous l’achetez directement, et cela ne compte pas les efforts d’entreprises comme Microsoft pour construire des centres de données qui fonctionnent autour de la technologie.
Il est même possible que certains des GPU qu’il empruntera soient exactement ceux que Microsoft a utilisés pour aider à former les modèles OpenAI – Microsoft Azure est l’un des groupes qui hébergera le DGX Cloud. Cependant, Nvidia affirme que les clients bénéficieront d’un “accès réservé à plein temps” aux GPU qu’ils louent et n’auront pas à les partager avec qui que ce soit d’autre. De plus, Oracle sera le premier partenaire, Microsoft arrivera “au prochain trimestre” et Google Cloud hébergera “bientôt” également la plate-forme.
Nvidia dit qu’Amgen utilise le DGX Cloud afin de découvrir plus rapidement de nouveaux médicaments et affirme que l’assureur CCC et le fournisseur de services informatiques ServiceNow l’utilisent pour former leurs modèles d’IA pour le traitement des réclamations et la génération de code, respectivement.