ChatGPT n'est « pas particulièrement innovant » et « n'a rien de révolutionnaire », déclare le scientifique en chef de l'IA de Meta

Le public perçoit le ChatGPT d'OpenAI comme révolutionnaire, mais les mêmes techniques sont utilisées et le même type de travail est en cours dans de nombreux laboratoires de recherche, explique le pionnier de l'apprentissage profond.

Pourquoi le public n'a-t-il pas vu des programmes comme ChatGPT de Meta ou de Google ? « La réponse est que Google et Meta ont tous deux beaucoup à perdre en mettant en place des systèmes qui inventent des choses », explique Yann LeCun, scientifique en chef de l'IA chez Meta.

Beaucoup d'encre a coulé ces derniers temps sur l'énorme promesse du programme ChatGPT d'OpenAI pour générer des énoncés en langage naturel en réponse à des invites humaines. 

Le programme frappe beaucoup de gens comme si frais et intriguant que ChatGPT doit être unique dans l’univers.

Les spécialistes de l’IA ne sont pas d’accord. 

« En termes de techniques sous-jacentes, ChatGPT n'est pas particulièrement innovant », a déclaré Yann LeCun, scientifique en chef de l'IA de Meta, lors d'un petit rassemblement de presse et de dirigeants sur Zoom la semaine dernière. 

« Ce n'est rien de révolutionnaire, même si c'est ainsi que c'est perçu par le public », a déclaré LeCun. « C'est juste que, vous savez, c'est bien ficelé, c'est bien fait. »

De tels systèmes d’IA basés sur les données ont été construits dans le passé par de nombreuses entreprises et laboratoires de recherche, a déclaré LeCun. L’idée qu’OpenAI soit seul dans son type de travail est inexacte, a-t-il déclaré.

« OpenAI n’est pas particulièrement une avancée par rapport aux autres laboratoires », a déclaré LeCun.

« Il n'y a pas que Google et Meta, mais il y a une demi-douzaine de startups qui ont essentiellement une technologie très similaire », a ajouté LeCun. « Je ne veux pas dis-les que ce n'est pas sorcier, mais c'est vraiment partagé, il n'y a pas de secret derrière, si vous voulez. »

LeCun a noté les nombreuses façons dont ChatGPT, et le programme sur lequel il s'appuie, le GPT-3 d'OpenAI, est composé de plusieurs éléments technologiques développés pendant de nombreuses années par de nombreuses parties. 

« Vous devez vous rendre compte que ChatGPT utilise des architectures Transformer qui sont pré-entraînées de cette manière auto-supervisée », a observé LeCun. « L'apprentissage auto-supervisé est quelque chose que je préconise depuis longtemps, même avant qu'OpenAI n'existe », a-t-il déclaré. 

« Transformers est une invention de Google », a noté LeCun, faisant référence au réseau neuronal de langage dévoilé par Google en 2017, qui est devenu la base d’une vaste gamme de programmes de langage, y compris GPT-3. 

Le travail sur de tels programmes linguistiques remonte à des décennies, a déclaré LeCun.

« Les grands modèles de langage, le premier modèle de langage de réseau neuronal - à l'époque, il était grand, selon les normes d'aujourd'hui, il est minuscule - a été réalisé par Yoshua Bengio, il y a environ 20 ans », a déclaré M. LeCun, faisant référence au directeur de l'institut canadien MILA pour l'IA. Le travail de Bengio sur le concept d'attention a ensuite été repris par Google pour le Transformer et est devenu un élément central dans tous les modèles de langage. 

De plus, le programme d'OpenAI a fait un usage intensif d'une technique appelée apprentissage par renforcement par rétroaction humaine, qui permet à des agents humains d'aider à classer la production de la machine afin de l'améliorer, un peu comme le Page Rank de Google pour le Web. Cette approche n'a pas été mise au point chez OpenAI, mais dans l'unité DeepMind de Google, a-t-il déclaré. 

« Il y a donc toute une histoire de cela, et cela n'est pas sorti du vide », a déclaré LeCun, signifiant ChatGPT.

Le programme ChatGPT est moins un cas de percées scientifiques qu’un exemple d’ingénierie décente, a déclaré LeCun. Il a comparé le programme à l'ordinateur Watson d'IBM qui a participé en 2011 au jeu télévisé Jeopardy !, et au véhicule autonome de l'entrepreneur Sebastian Thrun qui a remporté le Grand Challenge de la DARPA en 2005. La technologie primée de Thrun « n'était pas particulièrement innovante en termes de science sous-jacente », a déclaré LeCun, « elle était simplement très bien conçue ».

« C'est un peu ce qu'OpenAI a fait », a-t-il déclaré. « Je ne vais pas les critiquer pour cela. »

LeCun a été invité à participer à une conférence d’une heure et demie organisée par le Collective[i] Forecast, une série de discussions interactives en ligne organisées par Collective[i], qui se présente comme « une plateforme d’IA conçue pour optimiser les ventes B2B ».

LeCun a fait ses remarques sur OpenAI en réponse à une question posée lors du colloque par le journaliste du New York Times Cade Metz. Metz a demandé si l'équipe d'IA de Meta, FAIR, que LeCun a construite, sera un jour identifiée dans l'esprit du public avec des percées comme l'est OpenAI. 

"Allons-nous voir cela de la part de Meta ? Oui, nous allons voir ça », a répondu LeCun. « Et pas seulement la génération de textes, mais aussi les aides à la création », a-t-il dit, y compris « l’art génératif », qui, a-t-il dit, « va être une grande chose ».

Meta sera en mesure d’aider les petites entreprises à se promouvoir en produisant automatiquement des médias qui font la promotion d’une marque, a-t-il proposé. 

« Il y a quelque chose comme 12 millions de magasins qui font de la publicité sur Facebook, et la plupart d'entre eux sont des magasins familiaux, et ils n'ont tout simplement pas les ressources pour concevoir une nouvelle publicité bien conçue », a observé LeCun. « Donc, pour eux, l’art génératif pourrait beaucoup aider. »

À un autre moment de la discussion, LeCun a observé : « Vous pourriez vous poser la question : Pourquoi n'y a-t-il pas de systèmes similaires de, disons, Google et Meta », faisant à nouveau référence à ChatGPT.

« Et, la réponse est que Google et Meta ont tous deux beaucoup à perdre en mettant en place des systèmes qui inventent des choses », a déclaré LeCun en riant.

LeCun est le lauréat du prix Turing 2019 pour ses contributions à l'informatique, l'équivalent du prix Nobel de l'informatique, avec Geoffrey Hinton, professeur à l'Université de Toronto et professeur à l'Université de Toronto. Ces trois derniers ont contribué à l'ère actuelle de l'apprentissage profond de l'IA.  

OpenAI est financé par Microsoft, qui a un accès exclusif au code produit par la startup, et qui intègre progressivement les programmes dans ses différentes offres logicielles, dont son service cloud Azure.