Meta affirme qu'elle disposera bientôt du supercalculateur d'IA le plus rapide au monde
En fin de compte, l’entreprise anciennement connue sous le nom de Facebook souhaite que le système AI Research SuperCluster l’aide à développer l’IA pour alimenter le métavers.
À la mi-2022, Meta contrôlera ce qu'elle pense être le supercalculateur d'IA le plus rapide au monde. Surnommé AI Research SuperCluster (RSC), le système fonctionne déjà et fait partie des supercalculateurs d'IA les plus rapides au monde, a déclaré la société dans un article de blog lundi.
Le développement du RSC est en cours, mais une fois la deuxième phase terminée d’ici le second semestre de cette année, le système fournira près de 5 exaflops de calcul de précision mixte.
Meta, anciennement connu sous le nom de Facebook, utilise déjà le supercalculateur pour entraîner de grands modèles en traitement du langage naturel (NLP) et en vision par ordinateur pour la recherche. L’entreprise utilise des modèles d’IA à grande échelle pour ses priorités permanentes, telles que la détection de contenu préjudiciable sur ses plateformes sociales. En fin de compte, cependant, il veut entraîner des modèles avec des milliards de paramètres pour l’aider à alimenter le métavers - le monde virtuel que Meta a l’intention de soutenir avec ses plateformes et ses produits.
« Les expériences que nous construisons pour le métavers nécessitent une énorme puissance de calcul (quintillions d'opérations/seconde !) et RSC permettra de nouveaux modèles d'IA capables d'apprendre à partir de milliards d'exemples, de comprendre des centaines de langues, et plus encore », a déclaré le PDG de Meta, Mark Zuckerberg, dans un communiqué.
Actuellement, RSC comprend un total de 760 systèmes Nvidia DGX A100 comme nœuds de calcul, pour un total de 6 080 GPU. Les GPU communiquent via une structure Clos à deux niveaux Nvidia Quantum 200 Gbit/s InfiniBand qui n’a pas de surabonnement. La couche de stockage de RSC comprend 175 pétaoctets de Pure Storage FlashArray, 46 pétaoctets de stockage en cache dans les systèmes Penguin Computing Altus et 10 pétaoctets de Pure Storage FlashBlade.
En comparaison, le supercalculateur Perlmutter AI du département américain de l'Énergie, dévoilé l'été dernier comme le supercalculateur d'IA le plus rapide au monde, offre près de quatre exaflops de performances de précision mixte avec 6 159 GPU Nvidia A100 Tensor Core.
D'ici à ce que le RSC de Meta soit terminé, la structure réseau InfiniBand connectera 16 000 GPU en tant que points de terminaison, ce qui en fera l'un des plus grands réseaux de ce type déployés à ce jour. De plus, Meta a conçu un système de mise en cache et de stockage capable de traiter 16 To/s de données d’entraînement. La société prévoit de l'étendre jusqu'à 1 exaoctet, ce qui équivaut à 36 000 ans de vidéo de haute qualité.
RSC remplace l'infrastructure héritée de Meta, conçue en 2017, qui dispose de 22 000 GPU Nvidia V100 Tensor Core dans un seul cluster et effectue 35 000 tâches d'entraînement par jour. Les premiers benchmarks sur RSC suggèrent qu’il exécute des flux de travail de vision par ordinateur jusqu’à 20 fois plus vite que l’ancien système, exécute la bibliothèque de communication collective Nvidia (NCCL) plus de 9 fois plus vite et forme des modèles NLP à grande échelle 3 fois plus vite.
Alors que l'infrastructure de recherche précédente de Meta sur l'IA n'utilisait que des ensembles de données open source et d'autres ensembles de données accessibles au public, RSC inclut des contrôles de confidentialité et de sécurité qui lui permettront d'enseigner des modèles avec des données réelles provenant des systèmes de production de Meta.
RSC exploite des données chiffrées générées par l’utilisateur qui sont déchiffrées juste avant la formation. Le système n'a pas de connexions directes entrantes ou sortantes à Internet, et le trafic ne peut provenir que des centres de données de production de Meta. L'ensemble du chemin de données des systèmes de stockage de Meta aux GPU est crypté de bout en bout. Avant d’être importées dans RSC, les données doivent passer par un processus d’examen de confidentialité pour confirmer qu’elles ont été correctement anonymisées. Les données sont ensuite chiffrées avant de pouvoir être utilisées pour entraîner des modèles d’IA, et les clés de déchiffrement sont supprimées régulièrement pour s’assurer que les données plus anciennes ne sont pas encore accessibles.