OpenAI, Intel et Qualcomm parlent du calcul de l'IA lors de la légendaire conférence Hot Chips
La conférence informatique de Stanford a débuté par un discours du responsable de l'infrastructure d'OpenAI, qui a expliqué la logique de la construction d'ordinateurs de plus en plus gros.
Arik Gihon, ingénieur principal senior d'Intel pour la conception de systèmes sur puce, présente aux membres du public la conception de la dernière puce de centre de données d'Intel, Lunar Lake.
La science et l'ingénierie liées à la fabrication de puces dédiées au traitement de l'intelligence artificielle sont plus dynamiques que jamais, à en juger par une conférence sur les puces très fréquentée qui a lieu cette semaine à l'Université de Stanford, appelée Hot Chips.
Le spectacle Hot Chips, qui en est actuellement à sa 36e édition, attire 1 500 participants, dont un peu plus de la moitié via le flux en direct en ligne et le reste au Memorial Auditorium de Stanford. Pendant des décennies, le salon a été un lieu privilégié de discussion sur les puces les plus avancées d'Intel, d'AMD, d'IBM et de nombreux autres fournisseurs, les entreprises utilisant souvent le salon pour dévoiler de nouveaux produits.
La conférence de cette année a reçu plus d'une centaine de soumissions de présentation du monde entier. Au final, 24 conférences ont été acceptées, soit à peu près autant que le format d'une conférence de deux jours suffirait. Deux séances de tutorat ont eu lieu dimanche, avec une keynote lundi et mardi. Il y a également treize séances d'affiches.
Les discussions techniques sur scène et les présentations d'affiches sont très techniques et orientées vers les ingénieurs. Le public a tendance à répartir ses ordinateurs portables et ses multiples écrans comme s'il passait les sessions dans son bureau personnel.
Les participants ont tendance à installer leur camp avec des ordinateurs portables comme s'il s'agissait d'un bureau de fortune.
Participants au Hot Chips 2024
La session de lundi matin, avec des présentations de Qualcomm sur son processeur Oryon pour les centres de données et le processeur Lunar Lake d'Intel, a attiré une foule nombreuse et a suscité de nombreuses questions du public.
Ces dernières années, l’accent a été mis sur les puces conçues pour mieux exécuter les formes d’IA à réseaux neuronaux. La conférence de cette année comprenait un discours prononcé par Trevor Cai d'OpenAI, responsable du matériel de l'entreprise, sur « la mise à l'échelle et l'infrastructure prévisibles ».
Trevor Cai, ingénieur en infrastructure OpenAI, parle des avantages prévisibles de l'augmentation de la puissance de calcul en termes d'évolutivité, sur lesquels OpenAI se concentre depuis le début.
Cai, qui a passé son temps à mettre en place l'infrastructure informatique d'OpenAI, a déclaré que ChatGPT est le résultat du fait que l'entreprise "a passé des années et des milliards de dollars à mieux prédire le prochain mot". Cela a conduit à des capacités successives telles que « l’apprentissage sans tir ».
« Comment savons-nous que cela fonctionnerait ? » » a demandé Cai de manière rhétorique. Parce qu'il existe des « lois d'échelle » qui montrent que la capacité peut augmenter de manière prévisible en tant que « loi de puissance » du calcul utilisé. Chaque fois que le calcul est doublé, la précision se rapproche d'une entropie « irréductible », a-t-il expliqué.
"C'est ce qui nous permet de faire des investissements, de construire des clusters massifs" d'ordinateurs, a expliqué Cai. Il y a « d'immenses vents contraires » à la poursuite de la courbe d'évolution, a déclaré Cai. OpenAI devra faire face à des innovations algorithmiques très difficiles, a-t-il déclaré.
Pour le matériel, « les coûts en dollars et en énergie de ces clusters massifs deviennent importants, même pour les entreprises générant les flux de trésorerie disponibles les plus élevés », a déclaré Cai.
La conférence se poursuit mardi avec des présentations d'Advanced Micro Devices et de la startup Cerebras Systems, entre autres.