Comment le plan d'IBM pour la transformation de l'industrie exploite l'IA, la 5G et la collaboration
La société démontre également la formation initiale d’un modèle d’IA comportant un billion de paramètres sur une seule machine utilisant des puces de mémoire DDR5 conventionnelles.
Cerebras a utilisé une chaîne de pensée au moment de l'inférence pour rendre un modèle d'IA plus petit égal ou meilleur à un modèle plus grand.
Cerebras Systems a annoncé mardi qu'il avait permis à Llama de Meta Platforms de fonctionner aussi bien dans une petite version que dans une grande version en ajoutant l'approche de plus en plus populaire en matière d'intelligence artificielle (IA) générative connue sous le nom de « chaîne de pensée ». Le fabricant d’ordinateurs IA a annoncé cette avancée au début de la conférence annuelle NeurIPS sur l’IA.
"Il s'agit d'une fonctionnalité uniquement à source fermée, mais nous voulions apporter cette fonctionnalité à l'écosystème le plus populaire, à savoir Llama", a déclaré James Wang, responsable du marketing produit de Cerebras, dans une interview avec ZDNET.
Le projet est le dernier d'une série de projets open source réalisés par Cerebras pour démontrer les capacités de son ordinateur d'IA spécialement conçu, le « CS-3 », qu'il vend en concurrence avec le statu quo en matière d'IA : les puces GPU. des fournisseurs habituels, Nvidia et AMD.
La société a pu former le modèle d'IA open source Llama 3.1 qui utilise seulement 70 milliards de paramètres pour atteindre la même précision ou une meilleure précision sur divers tests de référence que la version beaucoup plus grande de 405 milliards de paramètres de Llama.
Ces tests incluent le test CRUX de « tâches de raisonnement complexes », développé au MIT et Meta, et le LiveCodeBench pour les défis de génération de code, développé à l'U.C. Berkeley, MIT et Cornell University, entre autres.
La chaîne de pensée peut permettre à des modèles utilisant moins de temps de formation, de données et de puissance de calcul d'égaler ou de surpasser les performances d'un grand modèle.
"Essentiellement, nous battons désormais Llama 3.1 405B, un modèle environ sept fois plus grand, simplement en réfléchissant davantage au moment de l'inférence", a déclaré Wang.
L'idée derrière le traitement de la chaîne de pensée est que le modèle d'IA détaille la séquence de calculs effectués en quête de la réponse finale, pour parvenir à une IA « explicable ». Une telle IA explicable pourrait éventuellement donner aux humains une plus grande confiance dans les prédictions de l’IA en révélant la base des réponses.
OpenAI a popularisé l'approche de la chaîne de pensée avec son grand modèle de langage « o1 » récemment publié.
La réponse de Cerebras à o1, baptisée « Planification et optimisation de Cerebras » ou CePO, fonctionne en exigeant que Llama - au moment où l'invite est soumise - « produise un plan pour résoudre le problème donné étape par étape », exécute le plan à plusieurs reprises, analysez les réponses à chaque exécution, puis sélectionnez une réponse « meilleure ».
"Contrairement à un LLM traditionnel, où le code est littéralement jeton par jeton par jeton, celui-ci examinera son propre code qu'il a généré et verra, est-ce que cela a du sens ?" Wang a expliqué. "Y a-t-il des erreurs de syntaxe ? Est-ce que cela accomplit réellement ce que la personne demande ? Et cela exécutera ce genre de boucle logique d'exécution du plan et de recoupement plusieurs fois."
En plus d'égaler ou de dépasser le modèle 405B de Llama 3.1, Cerebras a pu prendre la dernière version de Llama, 3.3, et la faire fonctionner au niveau des grands modèles de langage « frontières » tels que Claude 3.5 Sonnet d'Anthropic et GPT-4 d'OpenAI. Turbo.
"C'est la première fois, je pense, que quelqu'un prend un modèle 70B, qui est généralement considéré comme de taille moyenne, et atteint des performances de premier ordre", a déclaré Wang.
Avec humour, Cerebras a également soumis Llama au « test de fraise », une invite qui fait allusion au nom de code « fraise » pour l'o1 d'OpenAI. Lorsque les nombres de « r » sont multipliés, comme « strrrawberrry », et que les modèles de langage sont invités à indiquer le nombre de r, ils échouent souvent. Le Lama 3.1 était capable de relier avec précision un nombre variable de r en utilisant une chaîne de pensée.
Du point de vue de l'entreprise, Cerebras est impatiente de démontrer l'avantage matériel et logiciel de son ordinateur IA, le CS-3.
Les travaux sur Llama ont été réalisés sur des CS-3 à l'aide de la puce WSE3 de Cerebras, le plus grand semi-conducteur au monde. La société a été en mesure d'exécuter le modèle Llama 3.1 70B, ainsi que le nouveau Llama 3.3, selon une chaîne de pensée sans le décalage typique induit par o1 et d'autres modèles fonctionnant sur des puces Nvidia et AMD, a déclaré Wang.
La version de chaîne de pensée de 3.1 70B est « le seul modèle de raisonnement qui s'exécute en temps réel » lorsqu'il est exécuté sur les Cerebras CS-3, affirme la société. "Le modèle de raisonnement OpenAI o1 s'exécute en quelques minutes ; CePO s'exécute en quelques secondes."
Cerebras, qui a récemment introduit ce qu'il appelle « le service d'inférence le plus rapide au monde », affirme que les machines CS-3 sont 16 fois plus rapides que le service le plus rapide sur puces GPU, avec 2 100 jetons traités chaque seconde.
L'expérience de Cerebras conforte le sentiment croissant selon lequel non seulement la formation de modèles d'IA, mais également la réalisation de prédictions en production, s'adaptent à des besoins informatiques toujours plus importants à mesure que les invites deviennent plus complexes.
En général, a déclaré Wang, la précision des grands modèles de langage s'améliorera proportionnellement à la quantité de calcul utilisée, à la fois dans la formation et dans l'inférence ; cependant, le facteur d'amélioration des performances varie en fonction de l'approche utilisée dans chaque cas.
"Différentes techniques évolueront avec le calcul à différents degrés", a déclaré Wang. "La pente des lignes sera différente. La chose remarquable - et la raison pour laquelle on parle des lois d'échelle - est le fait qu'elles évoluent, et apparemment sans fin. "
"L'opinion classique était que les améliorations allaient stagner et qu'il faudrait des percées algorithmiques", a-t-il déclaré. "Les lois de mise à l'échelle disent : 'Non, vous pouvez simplement y lancer davantage de calculs sans limite pratique.' Le type de réseau neuronal, la méthode de raisonnement, etc. affectent le taux d’amélioration, mais pas sa nature évolutive. »
Dans différentes implémentations, la chaîne de pensée peut produire soit une série détaillée de ses résultats intermédiaires, soit une sorte de message d'état disant quelque chose comme « penser ». Lorsqu'on lui a demandé quel choix de Cerebras avait choisi, Wang a répondu qu'il n'avait pas lui-même vu le résultat réel, mais que "c'est probablement verbeux. Lorsque nous publions des éléments conçus pour servir les modèles Llama et open source, les gens aiment voir les résultats intermédiaires".
Cerebras présente la formation initiale d'un modèle de langage comportant des milliards de paramètres sur une seule machine, en utilisant 55 téraoctets de DRAM standard.
Mardi également, Cerebras a annoncé avoir effectué une formation "initiale" sur un grand modèle de langage comportant mille milliards de paramètres, dans le cadre d'un projet de recherche mené avec Sandia National Laboratories, un laboratoire géré par le ministère américain de l'Énergie.
Le travail a été effectué sur un seul CS-3, combiné à son ordinateur à mémoire spécialement conçu, le MemX. Une version spéciale du MemX a été portée à 55 téraoctets de mémoire pour contenir les poids des paramètres du modèle, qui ont ensuite été transmis au CS-3 via l'ordinateur réseau dédié de Cerebras, le SwarmX.
Le système CS-3, affirme Cerebras, remplacerait 287 des puces combo CPU et GPU haut de gamme "Grace Blackwell 200" de Nvidia qui sont nécessaires pour accéder à une mémoire équivalente.
La combinaison du CS-3 et du MemX occupe deux racks d'équipements de télécommunications standard, a déclaré Wang. La société affirme que cela prend moins d’un pour cent de l’espace et de la puissance d’un GPU équivalent.
Le périphérique MemX utilise une DRAM standard, connue sous le nom de DDR-5, contrairement aux cartes GPU qui disposent d'une « mémoire à large bande passante » plus coûteuse, ou HBM.
"Cela ne touche pas la chaîne d'approvisionnement de HBM, donc c'est extrêmement facile à se procurer et c'est peu coûteux", a déclaré Wang.
Cerebras affirme que son système en cluster réduit considérablement la quantité de code nécessaire à la tâche de programmation sur un modèle comportant des milliards de paramètres.
Cerebras parie que le véritable gain réside dans le modèle de programmation. Pour programmer les centaines de GPU de concert, a déclaré Wang, un total de 20 507 lignes de code sont nécessaires pour coordonner le code Python, C et C++ et shell d'un modèle d'IA, ainsi que d'autres ressources. La même tâche peut être réalisée sur la machine CS-3 avec 565 lignes de code.
"Ce n'est pas seulement une nécessité d'un point de vue matériel, c'est tellement plus simple du point de vue de la programmation", a-t-il déclaré, "parce que vous pouvez déposer ce modèle de mille milliards de paramètres directement dans ce bloc de mémoire", alors que les GPU impliquent une "gestion". sur « des milliers de blocs de 80 Go » de mémoire HBM pour coordonner les paramètres.
Le projet de recherche a formé le modèle d'IA, qui n'est pas divulgué, à travers 50 étapes de formation, bien qu'il ne l'ait pas encore entraîné à la « convergence », c'est-à-dire à un état fini. Entraîner un modèle comportant des milliards de paramètres à la convergence nécessiterait beaucoup plus de machines et plus de temps.
Cependant, Cerebras a ensuite travaillé avec Sandia pour organiser la formation sur 16 des machines CS-3. Les performances ont augmenté de manière « linéaire », a déclaré Wang, la précision de la formation augmentant proportionnellement au nombre d'ordinateurs placés dans le cluster.
"Le GPU a toujours revendiqué une mise à l'échelle linéaire, mais c'est très, très difficile à réaliser", a déclaré Wang. "L'intérêt de notre cluster à l'échelle d'une tranche est que, comme la mémoire est ce bloc unifié, le calcul est séparé et nous avons un tissu entre les deux, vous n'avez pas à vous en soucier."
Bien que le travail avec Sandia n'ait pas permis d'entraîner le modèle à la convergence, une telle formation sur un si grand modèle « est très importante pour nos clients », a déclaré Wang. "C'est littéralement la première étape avant de lancer un projet à grande échelle qui coûte très cher", ce qui signifie une convergence totale, a-t-il déclaré.
L'un des plus gros clients de l'entreprise, la société d'investissement G42 des Émirats arabes unis, "est très motivée à l'idée d'obtenir un résultat de classe mondiale", a-t-il déclaré. "Ils veulent former un très, très grand modèle."
Sandia publiera probablement sur l'expérience lorsqu'elle aura des "résultats finaux", a déclaré Wang.
La conférence NeurIPS est l'un des événements les plus importants dans le domaine de l'IA, présentant souvent la première divulgation publique de percées. Le programme complet de l'événement d'une semaine est disponible sur le site Web de NeurIPS.