Cerebras vient de construire un système informatique gargantuesque avec 27 millions de « cœurs » d’IA
Condor Galaxy est la première étape du partenariat de Cerebras avec le G42 d'Abou Dhabi, qui devrait aboutir à terme à des centaines de millions de dollars pour un système en cluster couvrant plusieurs continents.
Andrew Feldman, co-fondateur et PDG de Cerebras, vu ici debout au sommet des caisses d'emballage des systèmes CS-2 avant leur installation dans les installations d'hébergement de Santa Clara, en Californie, du partenaire Colovore.
La ferveur autour de l'intelligence artificielle "n'est pas une affaire de la Silicon Valley, ce n'est même pas une affaire des États-Unis, elle est maintenant partout dans le monde - c'est un phénomène mondial", selon Andrew Feldman, co-fondateur et PDG d'AI computing. startup Cerebras Systems.
Dans cet esprit, Cerebras a annoncé jeudi avoir signé un contrat pour construire ce qu'elle appelle « le plus grand supercalculateur au monde pour l'IA », nommé Condor Galaxy, pour le compte de son client, G42, une société d'investissement de cinq ans basée à Abu Dhabi. les Émirats arabes unis.
La machine se concentre sur "l'entraînement" des réseaux de neurones, la partie de l'apprentissage automatique où les paramètres d'un réseau de neurones, ses "paramètres" ou "poids" doivent être réglés à un niveau suffisant pour la deuxième étape. , faire des prédictions, connue sous le nom d'étape « d'inférence ».
Condor Galaxy est le résultat, a déclaré Feldman, de mois de collaboration entre Cerebras et G42, et constitue la première annonce majeure de leur partenariat stratégique.
Le contrat initial vaut plus de cent millions de dollars pour Cerebras, a déclaré Feldman à ZDNET dans une interview. Ce montant va finalement se multiplier plusieurs fois, pour atteindre des centaines de millions de dollars de revenus, à mesure que Cerebras construit Condor Galaxy en plusieurs étapes.
Condor Galaxy doit son nom à un système cosmologique situé à 212 millions d'années-lumière de la Terre. Dans sa configuration initiale, appelée CG-1, la machine est composée de 32 ordinateurs d'IA spécialisés de Cerebras, le CS-2, dont les puces, le « Wafer-Scale-Engine », ou WSE, détiennent collectivement un total de 27 millions de cœurs de calcul, 41 téraoctets de mémoire et 194 000 milliards de bits par seconde de bande passante. Ils sont supervisés par 36 352 processeurs de serveur EPYC x86 d'AMD.
Les 32 machines CS-2 mises en réseau sous le nom de CG-1.
La machine fonctionne à 2 exa-flops, ce qui signifie qu'elle peut traiter un milliard de milliards d'opérations en virgule flottante par seconde.
Cette ampleur est le dernier exemple de grandeur de Cerebras, fondée en 2016 par des entrepreneurs et innovateurs chevronnés dans le domaine des semi-conducteurs et des réseaux. La société a stupéfié le monde en 2019 avec le dévoilement du WSE, la plus grande puce jamais fabriquée, une puce occupant presque toute la surface d'une plaquette semi-conductrice de 12 pouces. C'est le WSE-2, introduit en 2021, qui équipe les machines CS-2.
Les CS-2 du CG-1 sont complétés par le commutateur « fabric » spécial de Cerebras, le Swarm-X, et son hub de mémoire dédié, le Memory-X, qui sont utilisés pour regrouper les CS-2.
L’affirmation selon laquelle il s’agit du plus grand supercalculateur pour l’IA est quelque peu hyperbolique, car il n’existe pas de registre général de la taille des ordinateurs IA. La mesure commune des supercalculateurs, la liste TOP500, maintenue par Prometeus GmbH, est une liste de supercalculateurs conventionnels utilisés pour le calcul dit haute performance.
Ces machines ne sont pas comparables, a déclaré Feldman, car elles fonctionnent avec ce qu'on appelle une précision de 64 bits, où chaque opérande, la valeur sur laquelle l'ordinateur doit travailler, est représenté à l'ordinateur par soixante-quatre bits. Le système Cerebras représente les données sous une forme plus simple appelée « FP-16 », en utilisant seulement seize bits pour chaque système.
Dans les machines de précision 64 bits, Frontier, un supercalculateur du Laboratoire national d'Oak Ridge du Département américain de l'énergie, est le supercalculateur le plus puissant au monde, fonctionnant à 1,19 exa-flops. Mais il ne peut pas être directement comparé au CG-1 à 2 exa-flops, a déclaré Feldman.
Certes, le simple calcul de CG-1 est différent de celui de nombreux ordinateurs sur la planète auxquels on peut penser. "Pensez à un seul ordinateur doté de plus de puissance de calcul qu'un demi-million de MacBook Apple travaillant ensemble pour résoudre un seul problème en temps réel", a proposé Feldman.
La machine Condor Galaxy n'est pas physiquement à Abu Dhabi, mais plutôt installée dans les installations de Colovore, basé à Santa Clara, en Californie, un fournisseur d'hébergement qui est en concurrence sur le marché des services cloud avec Equinix. Cerebras avait déjà annoncé en novembre un partenariat avec Colovore pour un supercalculateur modulaire nommé « Andromeda » destiné à accélérer les grands modèles de langage.
Statistiques du CG-1 en phase 1
Statistiques du CG-1 en phase 2
Dans le cadre de ce partenariat pluriannuel, Condor Galaxy évoluera jusqu'à la version CG-9, a déclaré Feldman. La phase 2 du partenariat, attendue d'ici le quatrième trimestre de cette année, doublera l'empreinte du CG-1 à 64 CS-2, avec un total de 54 millions de cœurs de calcul, 82 téraoctets de mémoire et 388 téraflops de bande passante. Cette machine doublera le débit à 4 exa-flops de calcul.
En réunissant le tout, dans le cadre de la phase 4 du partenariat, qui sera livrée au second semestre 2024, Cerebras enchaînera ce qu'elle appelle une « constellation » de neuf systèmes interconnectés, chacun fonctionnant à 4 exa-flops, pour un total de 36 exa-flops de capacité, sur des sites à travers le monde, pour créer ce qu'il appelle « le plus grand supercalculateur d'IA interconnecté au monde ».
"C'est la première des quatre machines exa-flop que nous construisons pour G42 aux États-Unis", a expliqué Feldman, "Et ensuite nous allons en construire six autres dans le monde, pour un total de neuf interconnectées, quatre exa. -machines à flops produisant 36 exa-flops."
C'est la première fois que Cerebras construit non seulement un système informatique en cluster, mais qu'il l'exploite également pour le client. Le partenariat offre ainsi à Cerebras de multiples sources de revenus.
Le partenariat atteindra des centaines de millions de dollars de ventes directes à G42 par Cerebras, a déclaré Feldman, à mesure qu'il franchira les différentes phases du partenariat.
"Non seulement ce contrat est plus important que ce que toutes les autres startups ont vendu, ensemble, au cours de leur vie, mais il est destiné à dépasser non seulement les cent millions [de dollars] qu'il atteint actuellement, mais deux ou trois fois plus loin", a-t-il déclaré. faisant allusion aux startups d’IA concurrentes, notamment Samba Nova Systems et Graphcore.
De plus, « ensemble, nous revendons la capacité excédentaire à travers notre cloud », ce qui signifie permettre à d'autres clients de Cerebras de louer de la capacité dans CG-1 lorsqu'elle n'est pas utilisée par G42. Le partenariat "donne évidemment à notre cloud une toute nouvelle ampleur", a-t-il déclaré, de sorte que "nous avons désormais l'opportunité de rechercher des supercalculateurs dédiés à l'IA en tant que service".
Cela signifie que quiconque souhaite disposer d'une capacité de calcul d'IA dans le cloud pourra "sauter sur l'un des plus grands superordinateurs du monde pendant une journée, une semaine, un mois si vous le souhaitez".
Les ambitions de l’IA semblent aussi grandes que la machine. "Au cours des 60 prochains jours, nous allons annoncer des modèles très, très intéressants qui ont été entraînés sur CG-1", a déclaré Feldman.
G42 est un conglomérat mondial, note Feldman, avec environ 22 000 employés répartis dans vingt-cinq pays et neuf sociétés opérationnelles sous son égide. La filiale G42 Cloud de la société exploite le plus grand cloud régional du Moyen-Orient.
« La vision commune de G42 et de Cerebras est que Condor Galaxy sera utilisé pour relever les défis de société les plus urgents en matière de soins de santé, d'énergie, d'action climatique et bien plus encore », a déclaré Talal Alkaissi, PDG de G42 Cloud, dans un discours préparé.
Une coentreprise entre G42 et une autre société d'investissement d'Abou Dhabi, Mubadala Investments. Co., M42, est l'un des plus grands séquenceurs génomiques au monde.
"Ils sont en quelque sorte des pionniers dans l'utilisation de l'IA et des applications de soins de santé en Europe et au Moyen-Orient", a noté Feldman de G42. L'entreprise a produit 300 publications sur l'IA au cours des 3 dernières années.
"Ils [G42] voulaient quelqu'un qui avait de l'expérience dans la construction de très grands supercalculateurs d'IA, qui avait de l'expérience dans le développement et la mise en œuvre de grands modèles d'IA, et qui avait de l'expérience dans la manipulation et la gestion de très grands ensembles de données", a déclaré Feldman. "Et ce sont toutes des choses que nous , nous nous étions en quelque sorte vraiment perfectionnés au cours des neuf derniers mois.
Les machines CG-1, a souligné Feldman, seront capables de s'adapter à des modèles de réseaux neuronaux de plus en plus grands sans encourir plusieurs fois la quantité de code supplémentaire nécessaire.
"L'un des éléments clés de cette technologie est qu'elle permet à des clients comme G42 et à leurs clients de bénéficier rapidement de nos machines", a déclaré Feldman.
Dans une présentation de diapositives, il a souligné comment un réseau neuronal d'un milliard de paramètres tel que le GPT d'OpenAI peut être installé sur une seule puce GPU Nvidia avec 1 200 lignes de code. Mais pour faire évoluer le réseau neuronal vers un modèle de 40 milliards de paramètres, qui s'exécute sur 28 415 GPU Nvidia, la quantité de code nécessaire pour être déployé atteint près de 30 000 lignes, a déclaré Feldman.
Cependant, pour un système CS-2, un modèle de 100 milliards de paramètres peut être exécuté avec les mêmes 1 200 lignes de code.
Cerebras affirme qu'il peut s'adapter à des modèles de réseaux neuronaux de plus en plus grands avec la même quantité de code par rapport à l'explosion du code nécessaire pour enchaîner les GPU de Nvidia.
"Si vous voulez mettre un modèle de 40 milliards, de 100 milliards de paramètres, ou de 500 milliards de paramètres, vous utilisez exactement les mêmes 1 200 lignes de code", a expliqué Feldman. "C'est vraiment un différenciateur essentiel, c'est que vous n'êtes pas obligé de faire cela", a-t-il déclaré.
Pour Feldman, l'échelle de la dernière création ne représente pas seulement la grandeur en soi, mais une tentative d'obtenir des résultats qualitativement différents en passant de la plus grande puce aux plus grands systèmes en cluster.
"Vous savez, lorsque nous avons créé l'entreprise, vous pensiez que vous pouviez contribuer à changer le monde en construisant des ordinateurs sympas", a expliqué Feldman. "Et au cours des sept dernières années, nous avons construit des ordinateurs de plus en plus gros, et certains des plus gros.
"Maintenant, nous sommes sur la voie d'une construction d'une taille inimaginable, et c'est génial, de parcourir le centre de données et de voir rack après rack de votre équipement bourdonner."