Nvidia, Dell et Qualcomm accélèrent les résultats de l'IA dans les derniers tests de référence
Cela contribuera à endiguer la hausse des coûts de calcul pour l’exécution des programmes d’IA.
Représentation graphique des tâches d'IA par Nvidia.
Dans le dernier test de référence pour l'intelligence artificielle, Nvidia, Dell, Qualcomm et un groupe de startups ont utilisé de nouvelles techniques pour réduire le budget de calcul nécessaire aux réponses aux questions tout en économisant de l'énergie.
Cela pourrait aider à endiguer la demande croissante de calcul pour l'exécution de programmes d'IA de plus en plus grands, tels que ChatGPT et GPT-4 d'OpenAI.
Mardi, le dernier test de référence sur la rapidité avec laquelle un réseau neuronal peut être exécuté pour faire des prédictions a été présenté par MLCommons, le consortium qui exécute les tests MLPerf. Les principaux fournisseurs tels que Nvidia, Dell, Qualcomm et Supermicro ont soumis des systèmes informatiques avec diverses configurations de puces pour voir quels systèmes avaient obtenu les meilleures notes.
Ils étaient en compétition pour fournir soit le plus grand nombre de questions auxquelles il était possible de répondre par seconde, le moins de temps pour répondre, appelé latence, ou la plus petite quantité d'énergie consommée - l'efficacité énergétique.
Un groupe de startups intrigantes a également participé, notamment Neural Magic, xFusion, cTuning, Nettrix, Neuchips, Moffett et Krai.
Appelés «MLPerf Inference 3.0», les résultats du test émulent les opérations informatiques qui se produisent lorsqu'un réseau neuronal entraîné reçoit de nouvelles données et doit produire des conclusions en sortie.
Le benchmark mesure la rapidité avec laquelle un ordinateur peut produire une réponse à un certain nombre de tâches, y compris ImageNet, où le défi consiste pour le réseau neuronal à appliquer l'une des nombreuses étiquettes à une photo décrivant l'objet sur la photo, comme un chat ou un chien.
Les résultats des tests suivent l’inférence MLPerf 2.1 rapportée en septembre.
Le MLCommons, dans un communiqué de presse, a noté que les résultats soumis par plusieurs fournisseurs montrent « des gains de performances significatifs de plus de 60 % dans certains tests de référence ».
Pour les tests de référence, les fabricants de puces et de systèmes rivalisent pour voir dans quelle mesure ils peuvent réussir sur des mesures telles que le nombre de photos traitées en une seule seconde, ou la faible latence qu'ils peuvent obtenir, le temps total aller-retour pour qu'une demande soit envoyée. à l'ordinateur et une prédiction à renvoyer.
Les résultats rapportés concernent les systèmes informatiques fonctionnant dans les centres de données et la « périphérie », un terme qui englobe désormais une variété de systèmes informatiques autres que les machines traditionnelles des centres de données. Une feuille de calcul répertorie les résultats pour tous les différents segments du centre de données et de la périphérie.
Les résultats ont montré que davantage d’organisations adhèrent aux tests de référence. MLCommons a déclaré qu'« un nombre record de 25 organisations soumissionnaires » ont soumis « plus de 6 700 résultats de performances et plus de 2 400 mesures de performances et d'efficacité énergétique ». Cela représente une augmentation par rapport aux 5 300 mesures de performances et aux 2 400 mesures de puissance enregistrées en septembre.
Les soumissions sont regroupées en deux catégories : « fermées » et « ouvertes ». Dans la première catégorie, les différents soumissionnaires suivent des règles strictes quant à la manière dont ils exécutent le logiciel d'IA, permettant la comparaison la plus directe des systèmes sur un pied d'égalité.
Dans ce dernier cas, les soumissionnaires sont autorisés à utiliser des approches logicielles uniques qui ne sont pas conformes aux règles standard des benchmarks, et ainsi produire de nouvelles innovations.
Comme c'est souvent le cas, Nvidia, le fournisseur dominant de GPU utilisés pour exécuter l'IA, a remporté de nombreux honneurs pour ses performances dans la plupart des tests. Le système de Nvidia fonctionnant sur deux processeurs Intel Xeon et huit des puces GPU « Hopper » de Nvidia a pris la première place dans cinq des six tâches de référence différentes, y compris l'exécution du modèle de langage Google BERT, un précurseur de ChatGPT. Dans l'une des six tâches, c'est un système Dell utilisant une configuration presque identique de puces Intel et Nvidia qui a pris la première place.
Pour en savoir plus sur les résultats de Nvidia, consultez le blog de la société.
Qualcomm a été en mesure de multiplier par trois le débit des requêtes pour le programme linguistique BERT par rapport aux résultats du cycle 2.1 précédent, a indiqué la société. Un système présenté par Qualcomm utilisant deux puces de serveur AMD EPYC et 18 des puces d'accélérateur d'IA « AI100 » de Qualcomm a obtenu le meilleur score pour la division ouverte des ordinateurs du centre de données dans le cadre de la tâche BERT. Son résultat, un débit de 53 024 requêtes vers le réseau BERT par seconde, n'était que de peu derrière le premier score de Nvidia dans la division fermée.
Parmi les nouveaux participants figurait cTuning, basée à Paris, une organisation à but non lucratif qui développe des outils open source pour les programmeurs d'IA afin de reproduire les résultats des tests de référence sur différentes plates-formes matérielles.
CTuning a pris la première place pour la latence la plus faible, c'est-à-dire le délai le plus court entre la soumission d'une requête et le retour de la réponse, pour quatre tâches sur cinq du benchmark pour l'informatique de pointe, dans la catégorie fermée.
Le concurrent de retour à l'inférence, Neural Magic, une startup financée par du capital-risque et cofondée par Nir Shavit, un chercheur du MIT, a une fois de plus mis à profit son logiciel spécial capable de déterminer quels « poids neuronaux » d'un réseau neuronal peuvent être laissés inutilisés afin qu'ils soient non traités par la puce informatique, économisant ainsi les demandes informatiques.
Le logiciel DeepSparse de la société est capable d'utiliser uniquement le processeur hôte, une puce x86 d'Intel, AMD ou, à l'avenir, des puces basées sur ARM, sans aucune assistance des GPU Nvidia.
Lors du test de langage BERT dans la division ouverte pour l'informatique de pointe, le logiciel DeepSparse de Neural Magic a utilisé deux processeurs de serveur AMD EPYC pour produire 5 578 réponses par seconde du réseau neuronal Google BERT. Ce n'était que légèrement derrière la deuxième place de l'ordinateur de Supermicro dans la division fermée composée de deux processeurs Xeon et d'un GPU Nvidia Hopper.
La société affirme que s’appuyer sur des puces x86 courantes plutôt que sur des GPU plus chers contribuera à diffuser l’IA auprès d’un plus grand nombre d’entreprises et d’institutions en réduisant le coût global d’exécution des programmes.
"Vous pouvez tirer beaucoup plus de ce matériel grand public", a déclaré Michael Goin, responsable de l'ingénierie produit pour Neural Magic, dans une interview avec ZDNET. "Ce sont les mêmes puces AMD que les entreprises utilisent déjà dans leur magasin ou leur point de vente pour gérer les ventes, gérer les stocks et gérer la logistique."
Pour en savoir plus sur l'approche de Neural Magic, consultez le blog de l'entreprise.