Le petit modèle LLaMA de Meta présente de grands avantages pour les chercheurs en IA
La société mère de Facebook a publié LLaMA, un modèle relativement petit mais puissant qui devrait aider les chercheurs à résoudre les pièges potentiellement dangereux et parfois farfelus de l'IA.
Les grands modèles de langage ont pris d’assaut le monde de la technologie. Ils alimentent des outils d'IA - comme ChatGPT et d'autres modèles conversationnels, par exemple - qui peuvent résoudre des problèmes, répondre à des questions, faire des prédictions, etc. Cependant, l’utilisation de ces outils comporte des risques importants. Ils sont connus pour faire des déclarations plausibles mais fausses, générer du contenu toxique et imiter les préjugés enracinés dans les données d’entraînement de l’IA.
Pour aider les chercheurs à résoudre ces problèmes, Meta a annoncé vendredi la sortie d'un nouveau grand modèle de langage appelé LLaMA (Large Language Model Meta AI). La société le rend disponible sous une licence non commerciale axée sur des cas d'utilisation en recherche, avec l'intention d'accorder l'accès au cas par cas. Il sera accessible aux chercheurs universitaires ; ceux affiliés à des organisations gouvernementales, de la société civile et du monde universitaire ; et des laboratoires de recherche industriels du monde entier.
Ce qui est intéressant avec LLaMA, c'est que c'est relativement peu.
Comme leur nom l’indique, les grands modèles de langage sont assez volumineux. Il faut d'énormes quantités de données sur la langue (qu'il s'agisse de langue parlée, de code informatique, de données génétiques ou d'autres « langues ») pour créer un modèle d'IA suffisamment sophistiqué pour résoudre des problèmes dans cette langue, trouver des réponses ou générer ses propres compositions.
"La formation de modèles de base plus petits comme LLaMA est souhaitable dans le vaste espace des modèles de langage, car elle nécessite beaucoup moins de puissance de calcul et de ressources pour tester de nouvelles approches, valider le travail des autres et explorer de nouveaux cas d'utilisation", a noté Meta.
Pour former un LLM relativement « petit », Meta a utilisé des « jetons » - des morceaux de mots plutôt que des mots entiers. Meta a formé LLaMA sur des textes provenant de 20 langues comptant le plus grand nombre de locuteurs, en se concentrant sur celles possédant les alphabets latin et cyrillique.
LLaMA est en réalité un ensemble de modèles, allant de 7 milliards à 65 milliards de paramètres. LLaMA 65B et LLaMA 33B ont été formés avec 1 400 milliards de jetons, tandis que le plus petit modèle, LLaMA 7B, a été formé avec un billion de jetons. Les modèles ont été formés en utilisant uniquement des ensembles de données accessibles au public.
Bien qu’ils soient petits, les modèles LLaMA sont puissants. Meta a déclaré que le LLaMA-13B surpasse le GPT-3 (175B) sur la plupart des benchmarks, tandis que le LLaMA-65B est compétitif avec les meilleurs modèles, Chinchilla70B et PaLM-540B.
LLaMA est également précieux pour la communauté des chercheurs en tant qu'ensemble de modèles de base. Les modèles Foundation sont formés sur des données non étiquetées, ce qui signifie qu'ils peuvent être adaptés à un large éventail de cas d'utilisation.
Meta rendra LLaMA disponible en plusieurs tailles (paramètres 7B, 13B, 33B et 65B) et partage également une carte de modèle LAMA qui détaille comment il a construit le modèle. La société fournit également un ensemble d'évaluations sur des points de référence évaluant les biais et la toxicité des modèles, afin que les chercheurs puissent comprendre les limites de LLaMA et faire progresser la recherche dans ces domaines.