Cet outil d’IA gratuit de Google transforme des documents de recherche complexes en conversations concises

Une nouvelle étude de Google suggère que ce que fait l’IA pour identifier les images n’équivaut peut-être pas à « savoir » quoi que ce soit.

La plupart des humains peuvent reconnaître un chat ou un chien à un âge précoce. Lorsqu’on lui demande d’expliquer comment il sait si un animal est un chat ou un chien, un adulte peut chercher une explication en décrivant l’expérience, par exemple : « Les chats vous évaluent de manière distante, mais les chiens essaient de vous sauter dessus et de vous lécher le visage. »

En d'autres termes, nous n'exprimons pas vraiment ce que nous savons.

La réalisation phare de l’intelligence artificielle au cours des deux dernières décennies est de classer les images de chats et de chiens, entre autres, en les classant dans des catégories. Mais les programmes d’IA n’expliquent jamais comment ils « savent » ce qu’ils sont censés « savoir ». Ils sont la proverbiale boîte noire. 

Une innovation récente des chercheurs en IA de Google cherche à fournir une réponse à la question de savoir comment l'IA sait de telles choses. C'est un projet d'ingénierie fascinant, et on peut aussi se demander si l'IA sait vraiment quoi que ce soit. 

Dans le document de recherche, « Expliquer avec style : entraîner un GAN à expliquer un classificateur dans StyleSpace », Oran Lang, chercheur chez Google, et ses collègues ont entrepris de faire de la rétro-ingénierie de ce qu'on appelle un classificateur : un programme d'apprentissage automatique qui développe une capacité à trier automatiquement les images en catégories, telles que « chat » et « chien ». 

Leur programme, appelé « StylEx », est capable d'identifier des éléments qui amènent un classificateur à attribuer une photo donnée à une catégorie ou à une autre, et c'est de manière à ce qu'une personne puisse reconnaître - des attributs sémantiquement significatifs, en d'autres termes. 

Leur technique utilise une nouvelle utilisation de ce que l'on appelle un réseau antagoniste génératif, ou GAN. L’approche GAN, introduite à l’origine par le scientifique en IA Yoshua Bengio et son équipe au MILA à Montréal en 2014, est un type de programme très populaire pour produire de fausses images qui imitent un style ou un genre donné.

Le programme GAN utilisé par les scientifiques s’appelle StyleGAN, introduit par Tero Karras et ses collègues de Nvidia en 2019 et mis à jour en 2020 vers StyleGAN2. Il peut prendre une variété de vraies photos de personnes, de lieux et de choses, et produire des faux convaincants à la manière de l’image originale, comme vous pouvez le voir sur le site Web « cette personne n’existe pas », une collection de faux portraits d’un réalisme saisissant.

C'est vrai, les GAN sont le fer de lance du phénomène des « deep fakes ». Le fait est que les GAN peuvent produire n’importe quel type d’image, y compris des images de chats et de chiens fausses mais réalistes.

L'important est que StyleGAN2 puisse être décalé selon n'importe quel nombre de paramètres, comme donner à un visage un teint plus clair ou plus foncé dans une photo de tête d'une personne, ou rendre les oreilles d'un chat tombantes comme celles d'un chien ou à l'inverse les yeux d'un chien grands et ronds comme ceux d'un chat. En d’autres termes, StyleGAN 2 peut jouer avec ce que nous pensons être les attributs visuels attendus de quelque chose.

Les auteurs ont pris StyleGAN2 et ils ont construit la nouvelle version, StylEX, pour jouer avec des images qui avaient déjà été classées par un programme de classification de réseau neuronal traditionnel, dans ce cas, le vénérable réseau neuronal MobileNet. Ce classificateur classe des images réelles d’animaux à partir d’un ensemble de données appelé « AFHQ », introduit par Yunjey Choi et ses collègues de Clova AI Research en 2020. 

C’est MobileNet qui est la boîte noire qu’ils cherchent à ouvrir à l’aide de StylEx. 

Pour développer leur programme, Lang et son équipe ont demandé à StylEx de compresser essentiellement les images classées par MobileNet, puis de les décompresser dans l’original. Ensuite, les nouvelles versions factices des originaux ont été renvoyées dans MobileNet pour voir si MobileNet attribuerait la même catégorie aux contrefaçons.

Le programme StylEx produit de fausses images à partir d’un réseau neuronal « générateur ». Lorsqu'ils sont transmis à un « classificateur », les chercheurs mesurent si les faux peuvent faire passer la catégorisation du classificateur de la bonne catégorie à la mauvaise. Les contours rouges montrent les fausses images dont les attributs ont été modifiés de manière sélective et les originaux sur lesquels elles étaient basées, avec le score en pourcentage, en médaillon, montrant dans quelle mesure un attribut donné a influencé la catégorisation.

En cours de route, StylEx peut ajuster ces paramètres, ces attributs visuels qu’un GAN est capable de manipuler, et voir si cela perturbe MobileNet. StylEx essaie de tromper MobileNet, si vous voulez.

L'idée est la suivante : si StylEx peut créer un faux convaincant que MobileNet accepte, puis un autre faux qui perturbe la catégorisation minutieuse de MobileNet, alors l'interaction entre les deux donne un aperçu de ce sur quoi MobileNet agit lorsqu'il classe des images. 

Comme le disent les auteurs, « nous entraînons notre GAN à expliquer explicitement le classificateur. » (« L'entraînement » est l'étape au cours de laquelle la fonctionnalité d'un réseau neuronal est d'abord développée par l'exposition à des données d'échantillonnage). 

La version compressée de l'image, où StylEx devine à quoi MobileNet répondra, fait partie du « StyleSpace » de StylEx, un « espace latent démêlé » d'un GAN. L’espace latent est la partie du programme GAN qui sépare les éléments visuels d’une image, tels que les zones qui composent les yeux d’un chat ou la langue d’un chien.

Comme StylEx est manipulé par des curseurs - en réalité, il existe des commandes de curseur qui peuvent montrer des choses telles que des yeux agrandis ou des bouches ouvertes ou fermées - le classificateur MobileNet répond par des scores de probabilité croissants ou décroissants pour le chat ou le chien. De cette façon, StylEx est utilisé comme une sonde médicale pour voir ce qu'il advient de la catégorisation de MobileNet. 

En d’autres termes, tournez les boutons pour montrer en quoi les faux diffèrent des vrais, et voyez ce que cela fait à la classification.

Lang et ses collègues appellent cette expérimentation « contrefactuelle », qui, comme ils l'écrivent, est « une déclaration de la forme 'Si l'entrée x avait été x', la sortie du classificateur aurait été y ̃ au lieu de y', où la différence entre x et x ̃ est facile à expliquer. »

La notion de « facile à expliquer » est au cœur du problème. Le but de StylEx est d’identifier des choses dans le StyleSpace qu’un être humain pourrait comprendre -- « grands yeux » ou « langue qui agite » -- comme explication. Cela fait partie du mouvement de l’IA vers une IA « explicable », quelque chose qui ouvre la boîte noire et dit à la société comment la machine arrive à des décisions.

Comme l’écrivent les auteurs, 

Prenons l’exemple d’un classificateur formé pour faire la distinction entre les images de chat et de chien. Une explication contrefactuelle pour une image classée comme un chat pourrait être « Si les pupilles étaient agrandies, alors la sortie du classificateur pour la probabilité de chat diminuerait de 10 %. » L’un des principaux avantages de cette approche est qu’elle fournit des explications par exemple, indiquant quelles parties de l’entrée sont saillantes pour la classification et comment elles peuvent être modifiées afin d’obtenir un résultat alternatif. 

Lang et ses collègues ont soumis leurs contrefactuels non seulement pour les chats et les chiens, mais pour tout un tas de classifications d’images, y compris l’âge humain - « vieux » contre « jeune » - et le genre humain, aux personnes travaillant sur la plate-forme Amazon Mechanical Turk. Ils ont demandé à ces personnes de décrire les changements dans les images, du vrai au faux. « Les utilisateurs sont ensuite invités à décrire en 1 à 4 mots l’attribut le plus important qu’ils voient changer dans l’image. »

Vous pouvez l’essayer vous-même en visitant le site créé par Lang et son équipe, avec des exemples de manipulations.

Ce qui nous amène à la question suivante : Que sait le classificateur MobileNet ? Sans entrer dans la question épistémologique de ce qu’est réellement la connaissance, le programme StylEx montre qu’un classificateur MobileNet répondra de manière répétée à certains éléments d’une image qui peuvent être isolés, tels que les yeux plus ou moins grands d’un chat ou d’un chien. 

En d’autres termes, un réseau neuronal classificateur connaît le degré d’une caractéristique le long d’un continuum de degrés, grand ou petit, clair ou sombre. 

Mais il y a un problème supplémentaire. Comme Lang et ses collègues l’ont découvert, leur programme StylEx, lorsqu’il crée des contrefaçons avec des caractéristiques modifiées, affecte dans chaque cas la façon dont le classificateur gère des images spécifiques. Ce mot spécifique est important, car il s’avère que le classificateur MobileNet est assez spécifique dans la catégorisation de chaque image. 

Comme l’écrivent les auteurs, « ce ne sont pas les attributs ayant le plus grand effet moyen sur de nombreuses images, mais plutôt ceux qui affectent le plus cette image spécifique ». En d’autres termes, chaque image, a une bizarrerie, en ce qui concerne le classificateur. Ou un ensemble de bizarreries.

Ainsi, le classificateur cherche vraiment quelque chose de particulier qui est mis en valeur dans le cas de chaque image, et le programme StylEx recrée ce quelque chose. Il n'est pas certain que de tels aspects spécifiques à l'image soient des connaissances. Ils peuvent être considérés comme des artefacts que le programme de classification a utilisés pour associer une image donnée à une catégorie donnée. Il n'est pas non plus clair qu'il y ait des points communs qui s'étendent à travers les images, comme on pourrait s'y attendre si un programme connaît vraiment la ressemblance d'un chat ou d'un chien. 

Si la connaissance, en termes pratiques, consiste à nommer les choses, StylEx soulève des questions intéressantes. L’acte de nommer, ou de classifier, impose un choix binaire, chat ou chien, auquel le programme répond en associant un ou un groupe d’éléments afin de compléter le test. La question de savoir si cela fait réellement partie de la connaissance d’une image, au sens profond de ce terme, reste ouverte.