Qu’est-ce qu’un PC IA exactement ? Et devriez-vous en acheter un en 2025 ?

En évitant les sorties spécifiques aux données pour des représentations internes, Meta vise un type d’IA plus général.

La course est lancée pour créer un réseau neuronal capable de traiter plusieurs types de données - une intelligence artificielle plus générale qui ne fait pas de discrimination sur les types de données, mais peut plutôt les traiter toutes dans la même structure de base.

Le Transformer très général devient ce qu’on appelle un pré-entraînement qui peut ensuite être appliqué à des réseaux de neurones spécifiques afin d’effectuer sur des tâches spécifiques. Par exemple, les auteurs utilisent data2vec comme pré-entraînement pour équiper ce qu'on appelle le « ViT », le « Vision Transformer », un réseau neuronal spécialement conçu pour les tâches de vision qui a été introduit l'année dernière par Alexey Dosovitskiy et ses collègues de Google. 

Meta affiche les meilleurs scores pour le vénérable concours de reconnaissance d’images ImageNet.

Lorsqu’ils sont utilisés sur ViT pour tenter de résoudre le test standard ImageNet de reconnaissance d’image, leurs résultats arrivent en tête du peloton, avec une précision de 84,1 %. C'est mieux que le score de 83,2 % obtenu par une équipe de Microsoft qui a pré-entraîné ViT dirigée par Hangbo Bao l'année dernière.

Et le même transformateur de data2vec produit des résultats qui sont à la pointe de la technologie pour la reconnaissance vocale et qui sont compétitifs, sinon les meilleurs, pour l’apprentissage du langage naturel :

Les résultats expérimentaux montrent que data2vec est efficace dans les trois modalités, établissant un nouvel état de l’art pour ViT-B et ViT-L sur ImageNet-1K, améliorant par rapport aux meilleurs travaux antérieurs en traitement de la parole sur la reconnaissance vocale et obtenant des performances comparables à celles de RoBERTa sur le benchmark de compréhension du langage naturel GLUE. 

Le point crucial est que cela se produit sans aucune modification du réseau neuronal pour qu’il s’agisse d’images, et il en va de même pour la parole et le texte. Au lieu de cela, chaque type d’entrée va dans le même réseau et effectue la même tâche très générale. Cette tâche est la même que celle que les réseaux Transformer utilisent toujours, connue sous le nom de « prédiction masquée ». 

La manière dont data2vec effectue la prédiction masquée est cependant une approche connue sous le nom d’apprentissage « auto-supervisé ». Dans un cadre auto-supervisé, un réseau neuronal est formé ou développé en devant passer par plusieurs étapes. 

Tout d’abord, le réseau construit une représentation de la probabilité conjointe d’entrée de données, qu’il s’agisse d’images, de paroles ou de textes. Ensuite, une deuxième version du réseau a certains de ces éléments de données d’entrée « masqués », laissés non révélés. Il doit reconstruire la probabilité conjointe que la première version du réseau avait construite, ce qui l’oblige à créer des représentations de plus en plus meilleures des données en remplissant essentiellement les blancs. 

Un aperçu de l’approche data2vec.

Les deux réseaux, celui avec le modèle complet de la probabilité conjointe, et celui avec la version incomplète qu’il essaie de compléter, sont appelés, assez judicieusement, « Enseignant » et « Étudiant ». Le réseau étudiant essaie de développer son sens des données, si vous voulez, en reconstruisant ce que l’Enseignant a déjà accompli.

Vous pouvez voir le code des modèles sur Github.

Comment le réseau neuronal effectue-t-il Enseignant et Élève pour trois types de données très différents ? La clé est que la « cible » de probabilité conjointe dans les trois cas de données n'est pas un type de données de sortie spécifique, comme c'est le cas dans les versions du Transformer pour un type de données spécifique, comme BERT de Google ou GPT-3 d'OpenAI. 

Au lieu de cela, data2vec s’empare d’un tas de couches de réseau neuronal qui se trouvent à l’intérieur du réseau neuronal, quelque part au milieu, qui représentent les données avant qu’elles ne soient produites en tant que sortie finale. 

Comme l’écrivent les chercheurs, « l’une des principales différences de notre méthode [...] outre la prédiction masquée, est l’utilisation de cibles basées sur la moyenne de plusieurs couches du réseau de l’enseignant. » Plus précisément, « nous régressons plusieurs représentations de couches de réseau neuronal au lieu de la couche supérieure », de sorte que « data2vec prédit les représentations latentes des données d’entrée ».

Ils ajoutent : « Nous utilisons généralement la sortie du FFN [réseau de feed-forward] avant la dernière connexion résiduelle dans chaque bloc comme cible », où un « bloc » est l’équivalent Transformer d’une couche de réseau neuronal.

Le fait est que chaque type de données qui entre devient le même défi pour le réseau d’étudiants de reconstruire quelque chose à l’intérieur du réseau neuronal que l’enseignant avait composé.

Cette moyenne est différente des autres approches récentes de la construction d’un réseau unique pour traiter toutes les données. Par exemple, l'été dernier, l'unité DeepMind de Google a proposé ce qu'elle appelle « Perceiver », sa propre version multimodale du Transformer. L’entraînement du réseau neuronal Perceiver est le processus plus standard de production d’une sortie qui est la réponse à une tâche étiquetée et supervisée telle qu’ImageNet. Dans l'approche auto-supervisée, data2vec n'utilise pas ces étiquettes ; Il s'agit simplement d'essayer de reconstruire la représentation interne des données du réseau. 

Des efforts encore plus ambitieux se profilent à l’horizon. Jeff Dean, responsable des efforts d'IA de Google, a parlé en octobre de « Pathways », le qualifiant d'"architecture d'IA de nouvelle génération » pour le traitement multimodal des données.

Remarquez, l'approche très générale de data2vec à l'égard d'un seul réseau neuronal pour plusieurs modalités contient encore beaucoup d'informations sur les différents types de données. L’image, la parole et le texte sont tous préparés par prétraitement des données. De cette façon, l’aspect multimodal du réseau repose toujours sur des indices sur les données, ce que l’équipe appelle des « encodeurs d’entrée spécifiques à de petites modalités ».

Nous ne sommes pas encore dans un monde où un réseau neuronal est formé sans aucun sens des types de données d’entrée. Nous ne sommes pas non plus à un moment où le réseau neuronal peut construire une représentation qui combine tous les différents types de données, de sorte que le réseau neuronal apprend des choses en combinaison.

C’est ce qui ressort d’un échange entre ZDNet et les chercheurs. ZDNet a contacté Baevski et son équipe et leur a demandé : « Les représentations latentes qui servent de cibles sont-elles un encodage combiné des trois modalités à un pas de temps donné, ou ne sont-elles généralement qu’une des modalités ? »

Baevski et son équipe ont répondu que c’est le dernier cas, et leur réponse est suffisamment intéressante pour être citée longuement :

Les variables latentes ne sont pas un codage combiné pour les trois modalités. Nous entraînons des modèles distincts pour chaque modalité, mais le processus par lequel les modèles apprennent est identique. C’est la principale innovation de notre projet, car auparavant, il y avait de grandes différences dans la façon dont les modèles sont entraînés dans différentes modalités. Les neuroscientifiques pensent également que les humains apprennent de la même manière sur les sons et le monde visuel. Notre projet montre que l’apprentissage auto-supervisé peut également fonctionner de la même manière pour différentes modalités.

Compte tenu des limites spécifiques à la modalité de data2vec, un réseau neuronal qui pourrait vraiment être un réseau unique pour les gouverner tous reste la technologie du futur.