L’IA pourrait-elle faire de vous un milliardaire en 2025 ?

NVIDIA vient d’annoncer Hopper, une nouvelle architecture GPU qui promet des améliorations significatives des performances pour les charges de travail d’IA. Nous regardons sous le capot pour déchiffrer si l’accent mis sur les modèles Transformer AI se traduit par une refonte radicale, et nous examinons les mises à jour de la pile logicielle.

NVIDIA l'a fait à nouveau, mais cette fois avec une torsion - semblant emprunter une page du livre de jeu de la concurrence. À l'occasion de la NVIDIA GTC, qui est devenue l'un des événements les plus importants de l'industrie de l'IA, la société a annoncé la dernière itération de son architecture matérielle et de ses produits. Voici un aperçu de ces annonces et ce qu'elles signifient pour l'écosystème dans son ensemble.

Hopper : la nouvelle architecture GPU de NVIDIA

GTC, qui a commencé lundi et se poursuit jusqu’à jeudi, propose 900+ sessions. Plus de 200 000 développeurs, chercheurs et data scientists de 50+ pays se sont inscrits à l’événement. Lors de son discours d’ouverture à la GTC 2022 , le fondateur et PDG de NVIDIA, Jensen Huang, a annoncé une multitude de nouvelles dans les domaines des centres de données et du calcul haute performance, de l’IA, de la collaboration en matière de conception et des jumeaux numériques, des réseaux, de l’automobile, de la robotique et de la santé.

Le cadrage de Huang était que « les entreprises traitent, affinent leurs données, fabriquent des logiciels d'IA ... devenir des fabricants d'intelligence. Si l'objectif est de transformer les centres de données en « usines d'IA », comme le dit NVIDIA, alors placer les Transformers au cœur de tout cela a du sens.

La page centrale des annonces a été la nouvelle architecture GPU Hopper, que NVIDIA surnomme « la prochaine génération de calcul accéléré ». Nommée en l’honneur de Grace Hopper, une informaticienne américaine pionnière, la nouvelle architecture succède à l’architecture NVIDIA Ampere, lancée il y a deux ans. La société a également annoncé son premier GPU basé sur Hopper, le NVIDIA H100.

NVIDIA affirme que Hopper apporte un saut de performance d’un ordre de grandeur par rapport à son prédécesseur, et cet exploit est basé sur six innovations révolutionnaires. Parcourons-les, en prenant des notes rapides pour savoir comment ils se comparent à la concurrence.

Tout d’abord, l’industrie manufacturière. Construit avec 80 milliards de transistors à l'aide d'un processus TSMC 4N de pointe conçu pour les besoins de calcul accélérés de NVIDIA, le H100 présente des avancées majeures pour accélérer l'IA, le HPC, la bande passante mémoire, l'interconnexion et la communication, y compris près de 5 téraoctets par seconde de connectivité externe. Au niveau de la fabrication, des jeunes pousses telles que Cerebras ou Graphcore ont également repoussé les limites de ce qui est possible.

Le GPU NVIDIA H100, le premier à utiliser la nouvelle architecture Hopper

Deuxièmement, le GPU multi-instance (MIG). La technologie MIG permet de partitionner un seul GPU en sept instances plus petites et entièrement isolées pour gérer différents types de tâches. L’architecture Hopper multiplie par 7 les capacités MIG par rapport à la génération précédente en offrant des configurations multilocataires sécurisées dans les environnements cloud sur chaque instance GPU. Run :AI, un partenaire de NVIDIA, propose quelque chose de similaire en tant que couche logicielle, connue sous le nom de partage fractionné de GPU.

Troisièmement, l’informatique confidentielle. NVIDIA affirme que H100 est le premier accélérateur au monde doté de capacités de calcul confidentiel pour protéger les modèles d'IA et les données des clients pendant leur traitement. Les clients peuvent également appliquer l’informatique confidentielle à l’apprentissage  fédéré pour les secteurs sensibles à la confidentialité tels que la santé et les services financiers, ainsi que sur les infrastructures cloud partagées. Ce n’est pas une caractéristique que nous avons vue ailleurs.

NVIDIA NVLink de quatrième génération de 4e génération. Pour accélérer les plus grands modèles d’IA, NVLink s’associe à un nouveau commutateur NVLink externe pour étendre NVLink en tant que réseau évolutif au-delà du serveur, en connectant jusqu’à 256 GPU H100 avec une bande passante 9 fois supérieure à celle de la génération précédente à l’aide de NVIDIA HDR Quantum InfiniBand. Encore une fois, il s’agit d’une spécificité de NVIDIA, bien que les concurrents exploitent souvent leur propre infrastructure spécialisée pour connecter leur matériel.

Cinquièmement, les instructions DPX pour accélérer la programmation dynamique. La programmation dynamique est à la fois une méthode d’optimisation mathématique et une méthode de programmation informatique, développée à l’origine dans les années 1950. En termes d’optimisation mathématique, la programmation dynamique fait généralement référence à la simplification d’une décision en la décomposant en une séquence d’étapes de décision au fil du temps. La programmation dynamique est principalement une optimisation par rapport à la récursivité simple.

NVIDIA note que la programmation dynamique est utilisée dans un large éventail d’algorithmes, y compris l’optimisation des itinéraires et la génomique, et qu’elle peut accélérer l’exécution jusqu’à 40 fois par rapport aux processeurs et jusqu’à 7 fois par rapport aux GPU de la génération précédente. Nous ne connaissons pas d’équivalent direct dans la concurrence, bien que de nombreux nouveaux arrivants de puces d’IA exploitent également le parallélisme.

La sixième innovation est celle que nous jugeons la plus importante : un nouveau moteur Transformer. Comme le note NVIDIA, les transformateurs sont le modèle standard de traitement du langage naturel et l’un des modèles d’apprentissage profond les plus importants jamais inventés. Le moteur de transformation de l'accélérateur H100 est conçu pour accélérer ces réseaux jusqu'à 6 fois par rapport à la génération précédente sans perdre en précision. Cela mérite une analyse plus approfondie.

Le moteur transformateur au cœur de Hopper

En regardant le titre du nouveau moteur de transformation au cœur du H100 de NVIDIA, nous nous sommes souvenus des remarques de l'architecte d'Intel Raja M. Koduri à Tiernan Ray de ZDNet. Koduri a noté que l’accélération des multiplications matricielles est désormais une mesure essentielle des performances et de l’efficacité des puces, ce qui signifie que chaque puce sera un processeur de réseau neuronal.

Koduri avait raison bien sûr. Outre les propres efforts d'Intel, c'est ce qui a conduit à une nouvelle génération de conceptions de puces d'IA à partir d'un éventail de nouveaux arrivants. Voir NVIDIA faire référence à un moteur de transformateur nous a fait nous demander si l’entreprise n’avait pas fait une refonte radicale de ses GPU. Après tout, les GPU n’ont pas été conçus à l’origine pour les charges de travail d’IA, il se trouve qu’ils étaient bons dans ce domaine, et NVIDIA a eu la prévoyance et la perspicacité de construire un écosystème autour d’eux.

Cependant, en approfondissant l'analyse de NVIDIA sur l'architecture Hopper, l'idée d'une refonte radicale semble être dissipée. Bien que Hopper introduise un nouveau multiprocesseur de streaming (SM) avec de nombreuses améliorations de performances et d'efficacité, c'est tout ce qu'il va. Ce n'est pas surprenant, compte tenu du poids de l'écosystème construit autour des GPU NVIDIA et des mises à jour massives et des incompatibilités potentielles qu'une refonte radicale impliquerait.

En décomposant les améliorations de Hopper, la mémoire semble en être une grande partie. Comme l'a déclaré à ZDNet, chef de produit de Facebook pour PyTorch, la bibliothèque populaire de formation à l'apprentissage automatique, « les modèles deviennent de plus en plus grands, ils sont vraiment, vraiment grands et très coûteux à entraîner. » De nos jours, les plus grands modèles ne peuvent souvent pas être entièrement stockés dans les circuits de mémoire qui accompagnent un GPU. Hopper est livré avec une mémoire plus rapide, plus importante et partagée entre les SM.

Un autre coup de pouce provient des nouveaux cœurs Tensor de quatrième génération de NVIDIA, qui sont jusqu'à 6 fois plus rapides d'une puce à l'autre que l'A100. Les noyaux tensoriels sont précisément ce qui est utilisé pour les multiplications matricielles. Dans H100, un nouveau type de données FP8 est utilisé, ce qui permet un calcul 4 fois plus rapide par rapport aux options à virgule flottante 16 bits de la génération précédente. Sur des types de données équivalents, il y a toujours une accélération de 2x.

Résumé de l’amélioration du calcul H100

En ce qui concerne le soi-disant « nouveau moteur de transformateur », il s’avère que c’est le terme utilisé par NVIDIA pour désigner « une combinaison de logiciels et de la technologie NVIDIA Hopper Tensor Core personnalisée conçue spécifiquement pour accélérer l’entraînement et l’inférence des modèles de transformateur ».

NVIDIA note que le moteur de transformation gère intelligemment et choisit dynamiquement entre les calculs FP8 et 16 bits, gérant automatiquement la reformulation et la mise à l’échelle entre FP8 et 16 bits dans chaque couche pour offrir un entraînement de l’IA jusqu’à 9 fois plus rapide et des accélérations d’inférence d’IA jusqu’à 30 fois plus rapides sur les grands modèles de langage par rapport à la génération précédente A100.

Ainsi, bien qu'il ne s'agisse pas d'une refonte radicale, la combinaison des améliorations de performances et d'efficacité se traduit par une accélération de 6 fois par rapport à Ampere, comme l'explique le blog technique de NVIDIA. L'accent mis par NVIDIA sur l'amélioration des performances des modèles de transformateurs n'est pas du tout déplacé.

Les modèles de transformateurs sont l’épine dorsale des modèles de langage largement utilisés aujourd’hui, tels que BERT et GPT-3. Initialement développés pour des cas d’utilisation de traitement du langage naturel, leur polyvalence est de plus en plus appliquée à la vision par ordinateur, à la découverte de médicaments, etc., comme nous l’avons documenté dans notre couverture de l’état de l’IA. Selon une métrique partagée par NVIDIA, 70 % des recherches publiées en IA au cours des 2 dernières années sont basées sur les transformateurs.

Le côté logiciel : une bonne nouvelle pour les utilisateurs d’Apache Spark

Mais qu’en est-il de l’aspect logiciel des choses ? Lors des précédentes annonces de GTC, les mises à jour de la pile logicielle étaient un élément clé de l’actualité. Dans ce cas, alors que les heuristiques réglées par NVIDIA qui choisissent dynamiquement entre les calculs FP8 et FP16 sont un élément clé du nouveau moteur de transformation en interne, les mises à jour de la pile logicielle externe semblent moins importantes en comparaison.

Le serveur d'inférence Triton de NVIDIA et le cadre NeMo Megatron pour l'entraînement de grands modèles de langage reçoivent des mises à jour. Il en va de même pour Riva, Merlin et Maxin, un SDK d’IA vocale qui comprend des modèles pré-entraînés, un cadre d’IA de recommandation de bout en bout et un SDK d’amélioration de la qualité audio et vidéo, respectivement. Comme l’a souligné NVIDIA, ceux-ci sont utilisés par des entreprises comme AT&T, Microsoft et Snapchat.

Il existe également 60 mises à jour SDK pour les bibliothèques CUDA-X de NVIDIA. NVIDIA a choisi de mettre en avant des domaines émergents tels que l’accélération de la simulation de circuits quantiques (disponibilité générale cuQuantum) et la recherche sur la couche physique 6G (disponibilité générale Sionna). Cependant, pour la plupart des utilisateurs, la bonne nouvelle réside probablement dans la mise à jour de l’accélérateur RAPIDS pour Apache Spark, qui accélère le traitement de plus de 3 fois sans modification du code.

Bien que cela n'ait pas été exactement important dans les annonces de NVIDIA, nous pensons que cela devrait l'être. Une accélération de 3 fois sans modification du code pour les utilisateurs d’Apache Spark, avec 80 % des entreprises du Fortune 500 utilisant Apache Spark en production, n’est pas une mince nouvelle. Ce n'est pas la première fois que NVIDIA montre un peu d'amour aux utilisateurs d'Apache Spark.

Dans l’ensemble, NVIDIA semble maintenir son élan. Bien que la concurrence soit féroce, avec l’avance que NVIDIA a réussi à créer, des refontes radicales ne sont peut-être pas vraiment nécessaires.