Microsoft annonce aujourd’hui la préversion publique d’Azure Managed Lustre, un nouvel ajout aux offres de stockage de notre solution Azure HPC + AI. Lustre est un système de fichiers parallèle open source célèbre pour le calcul haute performance (HPC) et adepte du calcul en grappe à grande échelle. Azure Managed Lustre fournit un stockage Lustre hautes performances avec contrôle et cohérence dans le cloud Microsoft. En conséquence, les clients peuvent se concentrer sur leurs objectifs commerciaux, qu’il s’agisse de créer un système de détection des fraudes basé sur l’analyse SAS, de décoder le génome humain pour créer la prochaine percée en médecine, de franchir les frontières de l’exploration énergétique avec le traitement des données sismiques et des solutions énergétiques durables. , ou prédire les modèles Climat et météo affectant la vie humaine sur la planète.
Luminosity en tant que service géré Azure
Avec Lustre en tant que service géré, les utilisateurs peuvent désormais se concentrer sur la création et l’exécution d’applications HPC et AI sans gestion avancée du système de fichiers parallèle. Les charges de travail HPC et AI peuvent migrer en toute transparence vers le cloud, tout en conservant la conformité Lustre et en protégeant les investissements d’automatisation et de plate-forme existants développés lors de l’exécution précédente sur site. Azure Managed Lustre permet un déploiement rapide et à la demande de clusters desservant des régions du monde, facilitant la planification préalable tout en respectant les exigences de conformité et de résidence des données. Avec une palette d’options de performances, Azure Managed Lustre offre une solution flexible où les utilisateurs peuvent déployer des clusters indépendants et exclusifs avec des performances prévisibles éliminant le problème de voisinage gênant couramment rencontré dans les infrastructures partagées sur site.
La préversion publique comprend deux références SKU durables basées sur SSD qui offrent un choix d’options de performances pour les charges de travail critiques : 125 Mo/s et 250 Mo/s par Tio de capacité disponible. Pendant l’aperçu, vous pouvez créer des tailles de cluster allant jusqu’à 128 To par défaut, avec la possibilité d’augmenter la taille jusqu’à 768 To à la demande. Azure Managed Lustre est construit sur des disques managés Azure hautement durables avec un stockage redondant localement de 3 réplicas, donc même si vous rencontrez des problèmes avec seulement 1 ou 2 réplicas, vous pouvez toujours tolérer les pannes. Azure Managed Lustre fournit la version 2.15 (LTS) conforme à POSIX, qui offre plusieurs améliorations de performances. Nous nous sommes concentrés sur les fonctionnalités qui permettent aux utilisateurs d’utiliser facilement Azure Managed Lustre sans se soucier de la façon de créer et de déployer des clients Lustre sur leurs ordinateurs virtuels et leurs conteneurs. Avec Azure Managed Lustre Preview, les clients peuvent choisir parmi :
- Utilisez des images Azure HPC pré-construites avec les packages client Lustre pour Ubuntu 18.04 et 20.04 (ou)
- Téléchargez les packages client Lustre sur bund.microsoft.com pour les distributions Linux – Ubuntu 18.04, 20.04 et 22.04 ; RHEL 7.8 et RHEL 8.0
Les couches de données utilisant la gestion du stockage hiérarchique permettent aux utilisateurs d’importer et d’exporter des données entre Azure Managed Lustre et Azure Blob. Cette fonctionnalité permet aux utilisateurs de définir l’archivage, la conservation et la protection des données en fonction de politiques prédéfinies. Les utilisateurs de grands ensembles de données peuvent importer le traitement des données actives à chaud et associées dans Azure Managed Lustre Clusters et archiver/conserver le reste dans Azure Blob. Cela leur permet de réduire les coûts liés au temps de fonctionnement. De plus, la catégorisation des données dans Azure Blob permet aux utilisateurs de tirer parti de sa présence et de sa disponibilité mondiales pour instancier des clusters Azure Managed Lustre dans plusieurs régions à la demande. L’intégration avec Azure Blob facilite également l’accès aux données multiprotocoles sur NFS, HDFS et REST. Les applications conteneurisées modernes d’IA/ML et d’analyse peuvent désormais s’exécuter sur un service Azure Kubernetes qui exploite le pilote Azure Managed Lustre CSI. Par exemple, les applications d’analyse construites sur SAS Viya peuvent exploiter de manière transparente les performances de stockage élevées par cœur dont elles ont besoin en s’intégrant au pilote Azure Managed Lustre CSI.
Conçu pour les charges de travail HPC et IA
Nous sommes reconnaissants à nos clients de Private Preview qui nous ont aidés à construire et à perfectionner le produit tout en répondant à leurs principaux besoins. Nous nous engageons à créer et à prendre en charge Azure Managed Lustre, car il vous aide dans votre cheminement vers l’exécution de vos applications hautes performances dans Azure.
“Nous travaillons avec des clients qui ont différents types de charges de travail HPC et nous rencontrons souvent des limitations de performances de stockage car leurs projets peuvent inclure des milliers à des dizaines de milliers de fichiers, qui doivent tous être lus et écrits en parallèle. Lorsque nous rencontrons des goulots d’étranglement de stockage ou des erreurs de limitation sur nos plateformes HPC, nous savons qu’il est temps de passer à Azure Managed Lustre. Avec Azure Managed Lustre, nous pouvons ajouter un stockage hautes performances qui peut facilement suivre un calcul HPC, synchronisant automatiquement les données d’entrée et les résultats avec un stockage de données binaires volumineux persistant. Parce qu’il peut être démarré et arrêté à la demande, en quelques minutes, Azure Managed Lustre est rentable et se rentabilise en nous donnant la possibilité de mettre à l’échelle ou de mettre à l’échelle notre calcul HPC, ce qui donne des résultats beaucoup plus rapides.. Philip Ayora, directeur – Recherche et calcul avancé, BizData.
“Le nouveau système de fichiers Azure Managed Lustre change vraiment la donne. Il accélère le déploiement HPC de nos logiciels et élimine le besoin d’exécuter des serveurs de stockage persistants. La configuration est simple et les performances d’E/S parallèles sont suffisamment rapides pour prendre en charge les charges de travail à haut débit. — Bill Shea, PDG de Sharp Reflections.
prochaines étapes
Pour essayer Azure Managed Lustre gratuitement, remplissez le formulaire d’inscription. Découvrez comment utiliser Azure Managed Lustre et ses différentes fonctionnalités prises en charge dans notre documentation.
En savoir plus sur les solutions HPC et IA