IA : Le pattern n'est pas dans les données, il est dans la machine

Non, les modèles créés par les ordinateurs ne sont pas une propriété inhérente aux données, ils sont une propriété émergente de la structure du programme lui-même.

Un réseau neuronal transforme l’entrée, les cercles à gauche, en sortie, à droite. Cela se produit par une transformation des poids, du centre, que nous confondons souvent avec des modèles dans les données elles-mêmes. 

C'est un lieu commun de l'intelligence artificielle de dire que l'apprentissage automatique, qui dépend de grandes quantités de données, fonctionne en trouvant des modèles dans les données. 

L’expression « trouver des modèles dans les données » est en fait une expression de base de choses telles que l’exploration de données et la découverte de connaissances depuis des années maintenant, et on a supposé que l’apprentissage automatique, et sa variante d’apprentissage profond en particulier, ne font que poursuivre la tradition de trouver de tels modèles.

Les programmes d’IA aboutissent effectivement à des modèles, mais, tout comme « la faute, cher Brutus, ne réside pas dans nos étoiles mais en nous-mêmes », le fait de ces modèles n’est pas quelque chose dans les données, c’est ce que le programme d’IA fait des données.

Presque tous les modèles d’apprentissage automatique fonctionnent via une règle d’apprentissage qui modifie les poids, également appelés paramètres, du programme lorsque celui-ci reçoit des exemples de données et, éventuellement, des étiquettes attachées à ces données. C’est la valeur des poids qui compte comme « savoir » ou « comprendre ».

Le modèle que l’on trouve est en réalité un modèle de la façon dont les poids changent. Les poids simulent la façon dont les vrais neurones sont censés « s’activer », le principe formé par le psychologue Donald O. Hebb, qui est devenu connu sous le nom d’apprentissage Hebbien, l’idée que « les neurones qui se déclenchent ensemble, se connectent ensemble ».

C’est le modèle de changements de poids qui est le modèle d’apprentissage et de compréhension dans l’apprentissage automatique, sur lequel les fondateurs de l’apprentissage profond ont mis l’accent. Comme exprimé il y a près de quarante ans, dans l’un des textes fondateurs de l’apprentissage profond, Parallel Distributed Processing, Volume I, James McClelland, David Rumelhart et Geoffrey Hinton ont écrit :

Ce qui est stocké, ce sont les forces de connexion entre les unités qui permettent de créer ces motifs [...] Si la connaissance est la force des connexions, l’apprentissage doit consister à trouver les bonnes forces de connexion afin que les bons modèles d’activation soient produits dans les bonnes circonstances. 

McClelland, Rumelhart et Hinton écrivaient pour un public choisi, des psychologues cognitifs et des informaticiens, et ils écrivaient à une époque très différente, une époque où les gens ne faisaient pas de suppositions faciles que tout ce qu'un ordinateur faisait représentait une « connaissance ». Ils travaillaient à une époque où les programmes d'IA ne pouvaient pas faire grand-chose du tout. Et ils se préoccupaient principalement de savoir comment produire un calcul - n’importe quel calcul - à partir d’un arrangement assez limité de transistors. 

Puis, à partir de l'essor des puissantes puces GPU il y a environ seize ans, les ordinateurs ont vraiment commencé à produire un comportement intéressant, couronné par la performance historique ImageNet du travail de Hinton avec ses étudiants diplômés en 2012 qui a marqué l'arrivée à maturité de l'apprentissage profond. 

À la suite des nouvelles réalisations informatiques, l’esprit populaire a commencé à construire toutes sortes de mythologies autour de l’IA et de l’apprentissage profond. Il y a eu une ruée de très mauvais titres comparant la technologie à des performances surhumaines.

La conception actuelle de l'IA a obscurci ce sur quoi McClelland, Rumelhart et Hinton se sont concentrés, à savoir la machine, et comment elle « crée » des modèles, comme ils le disent. Ils étaient très intimement familiers avec la mécanique des poids construisant un modèle en réponse à ce qui n’était, dans l’entrée, que des données. 

Pourquoi tout cela est-il important ? Si la machine est le créateur de motifs, alors les conclusions que les gens tirent de l’IA sont probablement pour la plupart fausses. La plupart des gens supposent qu’un programme informatique perçoit un modèle dans le monde, ce qui peut amener les gens à s’en remettre au jugement de la machine. Si cela produit des résultats, on pense que l'ordinateur doit voir quelque chose que les humains ne voient pas. 

Sauf qu'une machine qui construit des motifs ne voit rien explicitement. C'est construire un modèle. Cela signifie que ce qui est « vu » ou « connu » n’est pas la même chose que le sens familier et quotidien dans lequel les humains parlent d’eux-mêmes comme sachant des choses.

Au lieu de partir de la question anthropocentrique : Que sait la machine ? il est préférable de commencer par une question plus précise : Que représente ce programme dans les connexions de ses poids ?

Selon la tâche, la réponse à cette question prend plusieurs formes. 

Prenons l’exemple de la vision par ordinateur. Le réseau neuronal convolutif qui sous-tend les programmes d’apprentissage automatique pour la reconnaissance d’images et d’autres perceptions visuelles est composé d’un ensemble de poids qui mesurent les valeurs de pixels dans une image numérique. 

La grille de pixels est déjà une imposition d’un système de coordonnées 2D sur le monde réel. Grâce à l'abstraction de  la grille de coordonnées, la tâche de représentation d'un réseau neuronal se résume à faire correspondre la force des collections de pixels à une étiquette qui a été imposée, telle que « oiseau » ou « geai bleu ». 

Dans une scène où l’on voit un oiseau, ou plus précisément un geai bleu, il peut se passer beaucoup de choses, notamment des nuages, du soleil et des passants. Mais la scène dans son ensemble n’est pas la chose. Ce qui compte pour le programme, c’est la collection de pixels les plus susceptibles de produire une étiquette appropriée. En d’autres termes, le modèle est un acte réducteur de concentration et de sélection inhérent à l’activation des connexions du réseau neuronal. 

On pourrait dire qu'un programme de ce genre ne « voit » ou ne « perçoit » pas tant qu'il filtre. 

Il en va de même dans les jeux, où l’IA maîtrise les échecs et  le poker. Dans le jeu d'échecs « à informations complètes », maîtrisé par le programme AlphaZero de DeepMind, la tâche d'apprentissage automatique se résume à l'élaboration d'un score de probabilité à chaque instant de la quantité de ce qu'un prochain coup potentiel mènera finalement à la victoire, à la défaite ou à l'égalité. 

Parce que le nombre de configurations potentielles du plateau de jeu ne peut pas être calculé, même par les ordinateurs les plus rapides, le poids de l'ordinateur coupe court à la recherche de mouvements en faisant ce que l'on pourrait appeler une synthèse. Le programme résume la probabilité de succès si l’on devait poursuivre plusieurs mouvements dans une direction donnée, puis compare ce résumé au résumé des mouvements potentiels à prendre dans une autre direction. 

Alors que l'état de l'échiquier à tout moment - la position des pièces et les pièces restantes - pourrait « signifier » quelque chose pour un grand maître d'échecs humain, il n'est pas certain que le terme « méchant » ait une signification pour l'AlphaZero de DeepMind pour une telle tâche de résumé. 

Une tâche de synthèse similaire est accomplie pour le programme Pluribus qui a conquis en 2019 la forme de poker la plus dure, le No-limit Texas hold'em. Ce jeu est encore plus complexe en ce sens qu'il comporte des informations cachées, les cartes face cachée des joueurs et des éléments « stochastiques » supplémentaires de bluff. Mais la représentation est, encore une fois, un résumé des probabilités à chaque tour. 

Même dans les programmes qui manipulent le langage humain, ce qu'il y a dans les poids est différent de ce que l'observateur occasionnel pourrait supposer. GPT-3, le meilleur programme de langage d’OpenAI, peut produire une sortie étonnamment humaine dans des phrases et des paragraphes. 

Le programme « connaît-il » la langue ? Ses poids représentent la probabilité que des mots individuels et même des chaînes entières de texte se retrouvent en séquence avec d’autres mots et chaînes. 

Vous pourriez appeler cette fonction d’un réseau neuronal un résumé similaire à AlphaGo ou Pluribus, étant donné que le problème est un peu comme les échecs ou le poker. Mais les états possibles à représenter sous forme de connexions dans le réseau neuronal ne sont pas seulement vastes, ils sont infinis compte tenu de la composabilité infinie du langage. 

D’autre part, étant donné que le résultat d’un programme linguistique tel que GPT-3, une phrase, est une réponse floue plutôt qu’un score discret, la « bonne réponse » est un peu moins exigeante que la victoire, la défaite ou le match nul aux échecs ou au poker. Vous pourriez également appeler cette fonction de GPT-3 et des programmes similaires une « indexation » ou un « inventaire » des choses dans leur poids. 

Les humains ont-ils un inventaire ou un indice de langage similaire ? Il ne semble pas y avoir d'indication à ce sujet jusqu'à présent en neurosciences. De même, dans l’expression « distinguer le danseur de la danse », GPT-3 repére-t-il les multiples niveaux de signification de la phrase, ou les associations ? Il n'est pas certain qu'une telle question ait un sens dans le contexte d'un programme informatique. 

Dans chacun de ces cas - échiquier, cartes, chaînes de mots - les données sont ce qu’elles sont : un substrat façonné divisé de différentes manières, un ensemble de produits en papier rectangulaire en plastique, un regroupement de sons ou de formes. Que de telles inventions « signifient » quelque chose, collectivement, pour l’ordinateur, n’est qu’une façon de dire qu’un ordinateur s’accorde en réponse, dans un but.

Les choses que ces données suscitent dans la machine - filtres, résumés, indices, inventaires, ou quelle que soit la façon dont vous voulez caractériser ces représentations - ne sont jamais la chose en soi. Ce sont des inventions. 

Mais, vous pouvez dire, les gens voient des flocons de neige et voient leurs différences, et cataloguent aussi ces différences, s’ils le veulent. Certes, l’activité humaine a toujours cherché à trouver des modèles, par divers moyens. L’observation directe est l’un des moyens les plus simples, et dans un sens, ce qui se fait dans un réseau neuronal est une sorte d’extension de cela. 

On pourrait dire que le réseau neuronal révèle ce qui a toujours été vrai dans l’activité humaine pendant des millénaires, que parler de modèles est une chose imposée au monde plutôt qu’une chose dans le monde. Dans le monde, les flocons de neige ont une forme, mais cette forme n’est qu’un modèle pour une personne qui les collecte, les indexe et les catégorise. C’est une construction, en d’autres termes.

L’activité de création de modèles augmentera considérablement à mesure que de plus en plus de programmes seront libérés sur les données du monde, et que leurs poids seront ajustés pour former des connexions qui, nous l’espérons, créeront des représentations utiles. De telles représentations peuvent être incroyablement utiles. Ils pourraient un jour guérir le cancer. Il est utile de se rappeler, cependant, que les modèles qu’ils révèlent ne sont pas là dans le monde, ils sont dans l’œil de celui qui perçoit.