Moins c'est beaucoup plus quand il s'agit d'IA, déclare DeepMind de Google
Les programmes d’IA sur réseaux neuronaux dont les fonctionnalités sont réduites de 75 % peuvent atteindre la même puissance que des programmes deux fois plus grands.
Les scientifiques découvrent qu’il est possible d’obtenir davantage en supprimant les trois quarts d’un réseau neuronal.
Un objectif majeur de la science de l’intelligence artificielle (IA) est l’équilibre entre la taille d’un programme et la quantité de données qu’il utilise. Après tout, il en coûte de l'argent réel, des dizaines de millions de dollars, pour acheter des puces GPU Nvidia pour faire fonctionner l'IA et pour rassembler des milliards d'octets de données pour entraîner les réseaux neuronaux - et la quantité dont vous avez besoin est une question aux implications très pratiques.
L'année dernière, l'unité DeepMind de Google a codifié l'équilibre exact entre la puissance de calcul et les données d'entraînement comme une sorte de loi de l'IA. Cette règle empirique, désormais appelée « loi Chinchilla », dit que vous pouvez réduire la taille d'un programme à seulement un quart de sa taille initiale si vous augmentez également la quantité de données sur lesquelles il est formé de quatre fois la taille initiale. taille.
L'intérêt du Chinchilla, et il est important, est que les programmes peuvent atteindre un résultat optimal en termes de précision tout en étant moins gigantesques. Créez des programmes plus petits, mais entraînez-vous plus longtemps sur les données, explique Chinchilla. En d’autres termes, moins c’est plus, dans l’IA d’apprentissage profond, pour des raisons qui ne sont pas encore entièrement comprises.
Dans un article publié ce mois-ci, DeepMind et ses collaborateurs s'appuient sur cette idée en suggérant qu'il est possible de faire encore mieux en supprimant des parties entières du réseau neuronal, poussant ainsi les performances plus loin une fois qu'un réseau neuronal heurte un mur.
Selon l'auteur principal Elias Frantar de l'Institut autrichien des sciences et technologies et des collaborateurs de DeepMind, vous pouvez obtenir les mêmes résultats en termes de précision à partir d'un réseau neuronal deux fois plus petit qu'un autre si vous utilisez une technique appelée « parcimonie ».
La parcimonie, un élément obscur des réseaux de neurones étudié depuis des années, est une technique qui emprunte à la structure réelle des neurones humains. La parcimonie fait référence à la désactivation de certaines connexions entre les neurones. Dans le cerveau humain, ces connexions sont appelées synapses.
La grande majorité des synapses humaines ne se connectent pas. Comme l'ont observé le scientifique Torsten Hoefler et son équipe de l'ETH Zurich en 2021 : « Les cerveaux biologiques, en particulier le cerveau humain, sont des structures hiérarchiques, clairsemées et récurrentes », ajoutant : « plus un cerveau possède de neurones, plus il devient clairsemé. »
L’idée est que si vous pouviez vous rapprocher de ce phénomène naturel qu’est le très petit nombre de connexions, vous pourriez faire beaucoup plus avec n’importe quel réseau neuronal avec beaucoup moins d’efforts - et beaucoup moins de temps, d’argent et d’énergie.
Dans un réseau neuronal artificiel, tel qu'un modèle d'IA d'apprentissage profond, l'équivalent des connexions synaptiques sont des « poids » ou des « paramètres ». Les synapses qui n'ont pas de connexions seraient des poids qui auraient des valeurs nulles : elles ne calculent rien, donc elles ne consomment aucune énergie de calcul. Les scientifiques en IA parlent donc de parcimonie comme d'une mise à zéro des paramètres d'un réseau neuronal.
Dans le nouvel article DeepMind, publié sur le serveur de pré-impression arXiv, Frantar et son équipe se demandent si les réseaux plus petits peuvent égaler le travail de réseaux plus grands, comme l'a montré l'étude précédente, dans quelle mesure la parcimonie peut-elle aider à améliorer encore plus les performances en supprimant certains poids. ?
Les chercheurs découvrent que si vous mettez à zéro les trois quarts des paramètres d'un réseau neuronal, ce qui le rend plus clairsemé, il peut faire le même travail qu'un réseau neuronal sur deux fois sa taille.
Comme ils le disent : « La principale conclusion de ces résultats est qu'à mesure que l'on s'entraîne beaucoup plus longtemps que Chinchilla (calcul dense optimal), de plus en plus de modèles clairsemés commencent à devenir optimaux en termes de perte pour le même nombre de non-zéro. paramètres." Le terme « modèle de calcul dense » fait référence à un réseau neuronal qui ne présente aucune parcimonie, de sorte que toutes ses synapses fonctionnent.
"Cela est dû au fait que les gains de la formation continue des modèles denses commencent à ralentir considérablement à un moment donné, permettant aux modèles clairsemés de les dépasser." En d’autres termes, les modèles normaux et non clairsemés - les modèles denses - commencent à s’effondrer là où les versions clairsemées prennent le relais.
L’implication pratique de cette recherche est frappante. Lorsqu'un réseau neuronal commence à atteindre sa limite en termes de performances, réduire la quantité de ses paramètres neuronaux qui fonctionnent -- les mettre à zéro -- étendra davantage les performances du réseau neuronal à mesure que vous entraînez le réseau neuronal. net pendant une période de plus en plus longue.
"Les niveaux de parcimonie optimaux augmentent continuellement avec une formation plus longue", écrivent Frantar et son équipe. "Sparsity fournit ainsi un moyen d'améliorer encore les performances du modèle pour un coût de paramètre final fixe."
Pour un monde préoccupé par le coût énergétique des réseaux neuronaux de plus en plus gourmands en énergie, la bonne nouvelle est que les scientifiques découvrent qu’on peut faire encore plus avec moins.