Si votre code généré par l’IA devient défectueux, qui est le plus exposé à la responsabilité ?

Un bref historique des progrès récents de l’IA, ce qu’ils signifient et pourquoi vous devriez vous y intéresser - ou non.

Le barrage de nouveaux modèles d’IA publiés par des entreprises comme DeepMind, Google, Meta et OpenAI s’intensifie. Chacun d’eux est différent d’une manière ou d’une autre, chacun d’entre eux renouvelant la conversation sur ses réalisations, ses applications et ses implications.

Imagen, comme DALLE-2, Gato, GPT-3 et d’autres modèles d’IA avant eux sont tous impressionnants, mais peut-être pas pour les raisons que vous pensez. Voici un bref aperçu de notre position dans la course à l'IA et de ce que nous avons appris jusqu'à présent.

Les forces et les faiblesses des grands modèles de langage

À ce rythme, il devient de plus en plus difficile de suivre les versions, et encore moins de les analyser. Commençons cette chronologie avec GPT-3. Nous avons choisi GPT-3 comme base de référence et comme point de départ de cette chronologie pour un certain nombre de raisons.

La création d'OpenAI a été annoncée en mai 2020, ce qui semble déjà être une éternité. C’est assez de temps pour qu’OpenAI ait créé un service commercial autour de GPT-3, en l’exposant en tant qu’API via un partenariat avec Microsoft.

À l’heure actuelle, il y a un nombre croissant d’applications qui utilisent GPT-3 sous le capot pour offrir des services aux utilisateurs finaux. Certaines de ces applications ne sont guère plus que des générateurs de textes marketing glorifiés - de minces enveloppes autour de l'API de GPT-3. D’autres, comme Viable, ont personnalisé GPT-3 pour l’adapter à leur utilisation et contourner ses défauts.

GPT-3 est un modèle de langage large (LLM), le terme « grand » faisant référence au nombre de paramètres que le modèle comporte. Le consensus actuel parmi les experts en IA semble être que plus le modèle est grand, c’est-à-dire plus il y a de paramètres, mieux il fonctionnera. À titre de référence, notons que GPT-3 compte 175 milliards de paramètres, tandis que BERT, l’emblématique LLM sorti par Google en 2018 et utilisé pour alimenter son moteur de recherche aujourd’hui, comptait 110 millions de paramètres.

L’idée des LLM est simple : utiliser des ensembles de données massifs de connaissances produites par l’homme pour former des algorithmes d’apprentissage automatique, dans le but de produire des modèles qui simulent la façon dont les humains utilisent le langage. Le fait que GPT-3 soit rendu accessible à un public plus large, ainsi que commercialement utilisé, en a fait la cible à la fois d’éloges et de critiques.

Comme l’a écrit Steven Johnson sur le New York Times, GPT-3 peut « écrire de la prose originale avec une aisance ahurissante ». Cela semble inciter les gens, y compris Johnson, à se demander s’il n’y a pas vraiment un « fantôme dans la coquille ». GPT-3 semble manipuler des concepts d’ordre supérieur et les mettre dans de nouvelles combinaisons, plutôt que de simplement imiter des modèles de texte, écrit Johnson. Le mot-clé ici, cependant, est « semble ».

Des critiques comme Gary Marcus, Gary N. Smith et Emily Bender, dont Johnson cite également certains, ont souligné les défauts fondamentaux de GPT-3 au niveau le plus fondamental. Pour reprendre les mots que Bender et ses co-auteurs ont utilisés pour titrer le désormais célèbre article de recherche qui a valu à Timnit Gebru et Margeret Mitchell d’être expulsés de Google, les LLM sont des « perroquets stochastiques ».

Le mécanisme par lequel les LLM prédisent mot après mot pour dériver leur prose est essentiellement de la régurgitation, écrit Marcus, citant ses échanges avec le célèbre linguiste Noam Chomsky. De tels systèmes, explique Marcus, sont entraînés sur des milliards de mots de texte numérique ; Leur don est de trouver des modèles qui correspondent à ce sur quoi ils ont été formés. Il s’agit d’un exploit statistique superlatif, mais qui ne signifie pas, par exemple, que le système sait ce que signifient les mots qu’il utilise comme outils prédictifs.

La fréquence du langage et des qualités telles que la polysémie peuvent-elles affecter la capacité d’un réseau neuronal à résoudre soudainement des tâches pour lesquelles il n’a pas été spécifiquement développé, ce qu’on appelle l’apprentissage en quelques coups ? DeepMind dit oui.

Un autre courant de critiques visant GPT-3 et d’autres LLM est que les résultats qu’ils produisent ont souvent tendance à faire preuve de toxicité et à reproduire des préjugés ethniques, raciaux et autres. Ce n’est vraiment pas surprenant, si l’on garde à l’esprit d’où proviennent les données utilisées pour former les LLM : les données sont toutes générées par des personnes et, dans une large mesure, elles ont été collectées sur le Web. À moins que des mesures correctives ne soient prises, il est tout à fait prévisible que les LLM produisent une telle production.

Enfin, la formation et l’exploitation des LLM nécessitent beaucoup de ressources. L'aphorisme de Chomsky à propos de GPT-3 est que « sa seule réussite est d'utiliser une grande partie de l'énergie de la Californie ». Mais Chomsky n’est pas le seul à le souligner. En 2022, DeepMind a publié un article, « Training Compute-Optimal Large Language Models », dans lequel les analystes affirment que l’entraînement des LLM a été effectué avec une utilisation profondément sous-optimale du calcul.

Cela dit, GPT-3 est une vieille nouvelle, d’une certaine manière. Au cours des derniers mois, un certain nombre de nouveaux LLM ont été annoncés. En octobre 2021, Microsoft et Nvidia ont annoncé Megatron -- Turing NLG avec 530 milliards de paramètres. En décembre 2021, DeepMind a annoncé Gopher avec 280 milliards de paramètres, et Google a annoncé GLaM avec 1,2 trillion de paramètres.

En janvier 2022, Google a annoncé LaMDA avec 137 milliards de paramètres. En avril 2022, DeepMind a annoncé Chinchilla avec 70 milliards de paramètres, et Google a annoncé PaLM avec 540 milliards de paramètres. En mai 2022, Meta a annoncé l’OPT-175B avec 175 milliards de paramètres.

Qu'il s'agisse de la taille, des performances, de l'efficacité, de la transparence, de la composition des ensembles de données d'entraînement ou de la nouveauté, chacun de ces LLM est remarquable et unique à certains égards. Bien que la plupart de ces LLM restent inaccessibles au grand public, les initiés se sont parfois montrés lyriques sur la prétendue capacité de ces modèles à « comprendre » le langage. De telles affirmations, cependant, semblent plutôt exagérées.

Repousser les limites de l’IA au-delà du langage

Bien que les LLM aient parcouru un long chemin en termes de capacité d’expansion et de qualité des résultats qu’ils produisent, leurs prémisses de base restent les mêmes. Par conséquent, leurs faiblesses fondamentales restent les mêmes. Cependant, les LLM ne sont pas le seul jeu en ville en ce qui concerne la pointe de l’IA.

Alors que les LLM se concentrent sur le traitement des données textuelles, il existe d’autres modèles d’IA qui se concentrent sur les données visuelles et audio. Ceux-ci sont utilisés dans des applications telles que la vision par ordinateur et la reconnaissance vocale. Cependant, ces dernières années ont vu un brouillage des frontières entre les modalités des modèles d’IA.

L’apprentissage dit multimodal consiste à consolider des données indépendantes provenant de diverses sources en un seul modèle d’IA. L’espoir de développer des modèles d’IA multimodaux est de pouvoir traiter plusieurs ensembles de données, en utilisant des méthodes basées sur l’apprentissage pour générer des informations plus intelligentes.

OpenAI identifie la multimodalité comme un objectif à long terme en IA et a été très actif dans ce domaine. Dans ses dernières annonces de recherche, OpenAI présente deux modèles qui, selon elle, rapprochent cet objectif.

Le premier modèle d’IA, DALL· E, a été annoncé en janvier 2021. OpenAI note que DALL-E peut transformer avec succès du texte en une image appropriée pour un large éventail de concepts exprimables en langage naturel, et il utilise la même approche que celle utilisée pour GPT-3.

Le deuxième modèle d’IA, CLIP, également annoncé en janvier 2021, permet de classer instantanément une image comme appartenant à l’une des catégories prédéfinies de manière « zero-shot ». Il n’est pas nécessaire d’affiner les données spécifiques à ces catégories comme le font la plupart des autres modèles d’IA visuelle, tout en les surclassant dans la référence de l’industrie, ImageNet.

En avril 2022, OpenAI a annoncé que DALL· E 2. La société note que, par rapport à son prédécesseur, DALL-E 2 génère des images plus réalistes et plus précises avec une résolution 4 fois supérieure.

En mai 2022, Google a annoncé son propre modèle d’IA multimodale analogue à DALL-E, appelé Imagen. Les recherches de Google montrent que les évaluateurs humains préfèrent Imagen à d'autres modèles dans les comparaisons côte à côte, à la fois en termes de qualité d'échantillon et d'alignement image-texte.

La représentation déjà emblématique de DALL-E 2 d'un astronaute chevauchant un cheval a été saluée comme « une étape importante dans le voyage de l'IA pour donner un sens au monde ». Les critiques soutiennent que c’est peut-être une exagération.

Le droit de se vanter est en constante évolution, semble-t-il. Quant à savoir si ces modèles d’IA multimodaux font quoi que ce soit pour répondre aux critiques sur l’utilisation des ressources et les biais, bien que l’on ne sache pas grand-chose à ce stade, sur la base de ce que l’on sait, les réponses semblent être respectivement « probablement pas » et « en quelque sorte ». Et qu’en est-il de la partie renseignement proprement dite ? Regardons un instant sous le capot.

OpenAI note que « DALL· E 2 a appris la relation entre les images et le texte utilisé pour les décrire. Il utilise un processus appelé « diffusion », qui commence par un motif de points aléatoires et modifie progressivement ce motif vers une image lorsqu’il reconnaît des aspects spécifiques de cette image.

Google note que leur « découverte clé est que les LLM génériques (par exemple T5), pré-entraînés sur des corpus de texte uniquement, sont étonnamment efficaces pour encoder le texte pour la synthèse d’images : l’augmentation de la taille du modèle de langage dans Imagen améliore à la fois la fidélité de l’échantillon et l’alignement image-texte beaucoup plus que l’augmentation de la taille du modèle de diffusion d’image ».

Alors qu’Imagen semble s’appuyer fortement sur les LLM, le processus est différent pour DALL-E 2. Cependant, les gens d'OpenAI et de Google, ainsi que des experts indépendants, affirment que ces modèles montrent une forme de « compréhension » qui chevauche la compréhension humaine. L'étude du MIT Technology est allée jusqu'à qualifier l'astronaute à cheval, l'image qui est devenue emblématique de DALL-E 2, d'étape importante dans le voyage de l'IA pour donner un sens au monde.

Gary Marcus, cependant, n’est pas convaincu. Marcus, scientifique, auteur à succès et entrepreneur, est bien connu dans les cercles de l'IA pour ses critiques sur un certain nombre de sujets, notamment la nature de l'intelligence et ce qui ne va pas avec l'apprentissage profond. Il n’a pas tardé à souligner les lacunes de DALL-E 2 et d’Imagen, et à engager un dialogue public, y compris avec des personnes de Google.

Marcus partage ses idées dans un essai intitulé à juste titre « Horse rides astronaut ». Sa conclusion est que s’attendre à ce que ces modèles soient pleinement sensibles à la sémantique en ce qui concerne la structure syntaxique est un vœu pieux et que l’incapacité à raisonner est un point d’échec général des méthodes modernes d’apprentissage automatique et un lieu clé pour rechercher de nouvelles idées.

Enfin, en mai 2022, DeepMind a annoncé Gato, un modèle d’IA généraliste. Comme le note Tiernan Ray de ZDNet, Gato est un autre type de modèle d'IA multimodale. Gato peut travailler avec plusieurs types de données pour effectuer plusieurs types de tâches, telles que jouer à des jeux vidéo, discuter, écrire des compositions, sous-titrer des images et contrôler des blocs d’empilement de bras robotiques. 

Comme le note également Ray, Gato fait un travail médiocre dans beaucoup de choses. Cependant, cela n’a pas empêché les membres de l’équipe DeepMind qui a construit Gato de s’exclamer que "Le jeu est terminé ! Il s'agit de rendre ces modèles plus grands, plus sûrs, plus efficaces en termes de calcul, plus rapides lors de l'échantillonnage, une mémoire plus intelligente, plus de modalités.

Langage, objectifs et pouvoir de marché de quelques-uns

Alors, où tout cela nous mène-t-il ? Mis à part le battage médiatique, les croyances métaphysiques et les explosions d’enthousiasme, l’état actuel de l’IA doit être examiné avec sobriété. Si les modèles qui ont été lancés au cours des derniers mois sont des prouesses d’ingénierie vraiment impressionnantes et sont parfois capables de produire des résultats étonnants, l’intelligence qu’ils désignent n’est pas vraiment artificielle.

L’intelligence humaine est à l’origine de l’ingénierie impressionnante qui génère ces modèles. C'est l'intelligence humaine qui a construit des modèles qui s'améliorent de plus en plus dans ce que l'article fondateur d'Alan Turing, Computing Machinery and Intelligence , a appelé « le jeu d'imitation », connu sous le nom de « test de Turing ».

Comme l’écrit Emily Tucker , directrice exécutive du Center on Privacy & Technology (CPT) de Georgetown Law, Turing a remplacé la question « les machines peuvent-elles penser ? » par la question de savoir si un humain peut confondre un ordinateur avec un autre humain.

Turing ne propose pas la dernière question dans l’esprit d’une heuristique utile pour la première question ; Il ne dit pas qu’il pense que ces deux questions sont des versions l’une de l’autre. Au contraire, il exprime la conviction que la question « les machines peuvent-elles penser ? » n’a aucune valeur, et semble espérer positivement un avenir proche dans lequel il est en fait très difficile, voire impossible, pour les êtres humains de se poser la question.

D’une certaine manière, cet avenir pourrait approcher à grands pas. Des modèles comme Imagen et DALL-E se brisent lorsqu’on leur présente des invites qui nécessitent une intelligence du type de celle que les humains possèdent pour être traitées. Cependant, à toutes fins utiles, ceux-ci peuvent être considérés comme des cas limites. Ce que les DALL-E du monde sont capables de générer est à la hauteur des artistes les plus talentueux.

La question est alors de savoir quel est le but de tout cela. En tant qu’objectif en soi, consacrer le temps et les ressources nécessaires à la génération d’images sympas pour générer des images sympas à volonté semble plutôt déplacé.

Il est peut-être plus justifié de voir cela comme un objectif intermédiaire vers la création d’une « vraie » IA, mais seulement si nous sommes prêts à souscrire à l’idée que faire la même chose à une échelle de plus en plus grande conduira d’une manière ou d’une autre à des résultats différents.

Un réseau neuronal transforme l’entrée, les cercles à gauche, en sortie, à droite. Cela se produit par une transformation des poids, du centre, que nous confondons souvent avec des modèles dans les données elles-mêmes. 

Dans cette optique, l'intention déclarée de Tucker d'être aussi précis que possible sur la nature de la technologie en question et son fonctionnement, au lieu d'utiliser des termes tels que « intelligence artificielle » et « apprentissage automatique », commence à avoir du sens à un certain niveau.

Par exemple, écrit Tucker, au lieu de dire « la reconnaissance faciale utilise l’intelligence artificielle », nous pourrions dire quelque chose comme « les entreprises technologiques utilisent des ensembles de données massifs pour former des algorithmes afin de faire correspondre des images de visages humains ». Lorsqu'une explication complète perturbe l'argument plus large, ou dépasse l'expertise du CPT, ils dirigeront les lecteurs vers des sources externes.

À vrai dire, cela ne semble pas très pratique en termes de lisibilité. Cependant, il est bon de garder à l'esprit que lorsque nous disons « IA », il s'agit vraiment d'une convention, pas de quelque chose à prendre au pied de la lettre. Il s’agit en réalité d’entreprises technologiques qui utilisent des ensembles de données massifs pour entraîner des algorithmes à effectuer des imitations - parfois utiles et/ou impressionnantes - de l’intelligence humaine.

Ce qui, inévitablement, conduit à d’autres questions, telles que : faire quoi et pour le bénéfice de qui. Comme l’écrit Erik Brynjolfsson, économiste de formation et directeur du Stanford Digital Economy Lab , l’accent excessif mis sur l’IA de type humain fait baisser les salaires de la plupart des gens « même si cela amplifie le pouvoir de marché de quelques-uns » qui possèdent et contrôlent les technologies.

À cet égard, l’IA n’est pas différente des autres technologies qui l’ont précédée. Ce qui peut être différent cette fois-ci, c’est la vitesse à laquelle les choses se déroulent et le degré d’amplification au pouvoir de quelques-uns.