LeCun, l'égérie de l'IA chez Meta, explore la frontière énergétique de l'apprentissage profond
Les modèles dits basés sur l'énergie, qui empruntent des concepts à la physique statistique, peuvent ouvrir la voie à la « prédiction abstraite », explique Yann LeCun, permettant un « modèle mondial unifié » pour une IA capable de planifier.
Les modèles dits basés sur l'énergie, qui empruntent aux concepts de la physique statistique, pourraient conduire à des formes d'IA d'apprentissage profond qui font des prédictions abstraites, explique Yann LeCun, scientifique en chef de Meta.
Il y a une trentaine d’années, Yann LeCun, alors qu’il travaillait aux Bell Labs, a formalisé une approche de l’apprentissage automatique appelée réseaux neuronaux convolutifs qui s’est avérée profondément productive dans la résolution de tâches telles que la reconnaissance d’images. Les CNN, comme on les appelle communément, sont un cheval de bataille de l'apprentissage profond de l'IA, ce qui a valu à LeCun le prestigieux prix ACM Turing, l'équivalent d'un Nobel d'informatique, en 2019.
Ces jours-ci, LeCun, qui est à la fois professeur à l'Université de New York et scientifique en chef chez Meta, est le plus enthousiaste qu'il ait été depuis 30 ans, a-t-il déclaré à ZDNet dans une interview la semaine dernière. La raison : de nouvelles découvertes rajeunissent une longue série d’enquêtes qui pourraient s’avérer aussi productives dans le domaine de l’IA que les CNN.
Cette nouvelle frontière que LeCun explore est connue sous le nom de modèles basés sur l’énergie. Alors qu’une fonction de probabilité est « une description de la probabilité qu’une variable aléatoire ou un ensemble de variables aléatoires prenne chacun de ses états possibles » (voir Deep Learning, par Ian Goodfellow, Yoshua Bengio et Aaron Courville, 2019), les modèles basés sur l’énergie simplifient l’accord entre deux variables. Empruntant le langage de la physique statistique, les modèles basés sur l'énergie postulent que l'énergie entre deux variables augmente si elles sont incompatibles et diminue au fur et à mesure qu'elles sont en accord. Cela peut éliminer la complexité qui survient lors de la « normalisation » d’une distribution de probabilité.
C'est une vieille idée de l'apprentissage automatique, qui remonte au moins aux années 1980, mais des progrès ont été réalisés depuis lors pour rendre les modèles basés sur l'énergie plus réalisables. LeCun a donné plusieurs conférences ces dernières années au fur et à mesure que ses réflexions sur la question se développaient, y compris une conférence à l’Institute for Advanced Study de Princeton en 2019, rapportée par ZDNet.
Plus récemment, LeCun a décrit l’état actuel de la recherche sur les modèles basés sur l’énergie dans deux articles. « Barlow Twins », publié l'été dernier avec des collègues de Facebook AI Research et VICReg, publié en janvier avec FAIR et Inria de l'École normale supérieure.
Il y a des parallèles intrigants avec l’électrodynamique quantique dans certains de ces domaines, comme LeCun l’a reconnu dans une conversation, bien que ce ne soit pas son objectif. Il se concentre sur les types de prédictions qui peuvent être avancées pour les systèmes d’IA.
À l’aide d’une version des modèles modernes basés sur l’énergie que LeCun a développés, ce qu’il appelle un « modèle d’intégration conjointe », LeCun pense qu’il y aura un « énorme avantage » aux systèmes d’apprentissage profond, à savoir que « la prédiction a lieu dans un espace de représentation abstrait ».
Cela ouvre la voie, selon LeCun, à la « prédiction de représentations abstraites du monde ». Les systèmes d’apprentissage profond dotés de capacités de prédiction abstraites peuvent être une voie vers la planification au sens général, où des « piles » de ces machines de prédiction d’abstraction peuvent être superposées pour produire des scénarios de planification lorsque le système est en mode d’inférence.
Il peut s’agir d’un outil important pour réaliser ce que LeCun croit être un « modèle mondial » unifié qui ferait progresser ce qu’il appelle l’IA autonome, quelque chose capable de planifier en modélisant les dépendances entre les scénarios et les modalités d’image, de parole et d’autres entrées sur le monde.
Ce qui suit est une version éditée de notre conversation via Zoom.
ZDNet : Tout d'abord, pour nous orienter, vous avez récemment parlé de l'apprentissage auto-supervisé dans l'apprentissage automatique, et le terme apprentissage non supervisé existe également. Quelle est la relation entre l’apprentissage non supervisé et l’apprentissage auto-supervisé ?
Yann LeCun : Eh bien, je pense que l’apprentissage auto-supervisé est une façon particulière de faire de l’apprentissage non supervisé. L’apprentissage non supervisé est un terme un peu chargé et pas très bien défini dans le contexte de l’apprentissage automatique. Lorsque vous mentionnez cela, les gens pensent, vous savez, au clustering et à l’ACP [analyse en composantes principales], à des choses de ce type, et à diverses méthodes de visualisation. L’apprentissage auto-supervisé est donc essentiellement une tentative d’utiliser essentiellement ce qui équivaut à des méthodes d’apprentissage supervisé pour l’apprentissage non supervisé : vous utilisez des méthodes d’apprentissage supervisé, mais vous entraînez un réseau neuronal sans étiquettes fournies par l’homme. Prenez donc un morceau d’une vidéo, montrez un segment de la vidéo à la machine et demandez-lui de prédire ce qui se passe ensuite dans la vidéo, par exemple. Ou montrez-lui deux morceaux de vidéo, et demandez-lui : est-ce que celle-ci est une continuation de celle-là ? Je ne lui demande pas de prédire, mais de vous demander si ces deux scènes sont compatibles. Ou montrez-lui deux vues différentes du même objet, et demandez-lui : Ces deux choses sont-elles le même objet ? Donc, ce genre de chose. Il n’y a donc pas de supervision humaine dans le sens où toutes les données que vous donnez au système sont essentiellement des entrées.
ZDNet : Vous avez donné plusieurs conférences ces dernières années, notamment à l’Institute for Advanced Study (IAS) situé à Princeton, dans le New Jersey, en 2019 et, plus récemment, lors d’une conférence organisée en février par Baidu sur les méthodes de ce que l’on appelle les approches basées sur l’énergie de l’apprentissage profond. Ces modèles basés sur l’énergie appartiennent-ils au segment auto-supervisé de l’apprentissage non supervisé ?
YL : Oui. Tout peut être tel qu’on le suppose dans le contexte d’un modèle basé sur l’énergie. Je vous donne un X et un Y ; X est l’observation, et Y est quelque chose dont le modèle est censé capturer la dépendance par rapport à X. Par exemple, X est un segment de vidéo, Y est un autre segment, et je montre X et Y au système, il est censé me dire si Y est une continuation de X. Ou deux images, sont-elles une version déformée l’une de l’autre, ou sont-elles des objets complètement différents ? Donc, l’énergie mesure cette compatibilité ou cette incompatibilité, n’est-ce pas ? Il serait nul si les deux pièces étaient compatibles, et alors, en grand nombre, elles ne le sont pas.
Et vous avez deux stratégies pour entraîner les modèles basés sur l’énergie. La première est que vous lui montrez des paires compatibles de X, Y, et vous lui montrez également des paires incompatibles de X, Y. Deux segments de vidéo qui ne correspondent pas, des vues de deux objets différents. Et donc, pour ceux-là [les paires incompatibles], vous voulez que l’énergie soit élevée, alors vous poussez l’énergie vers le haut d’une manière ou d’une autre. Alors que pour ceux qui sont incompatibles, vous poussez l’énergie vers le bas.
Ce sont des méthodes contrastives. Et au moins dans certains contextes, je les ai inventés pour un type particulier d’apprentissage auto-supervisé appelé « filets siamois ». J’en étais fan, mais ce n’est plus le cas. J’ai changé d’avis à ce sujet. Je pense que ces méthodes sont vouées à l’échec. Je ne pense pas qu'ils soient inutiles, mais je pense qu'ils ne sont pas suffisants parce qu'ils ne s'adaptent pas très bien à la dimension de ces choses. Il y a cette ligne ; Tous les couples heureux sont heureux de la même manière, tous les couples malheureux sont malheureux de différentes manières. [Tolstoï, Anna Karénine, « Les familles heureuses se ressemblent toutes ; chaque famille malheureuse est malheureuse à sa manière. »]
C'est la même histoire. Il n’y a que quelques façons dont deux images peuvent être identiques ou compatibles. Il y a beaucoup, beaucoup de façons dont deux images peuvent être différentes, et l’espace est de grande dimension. Donc, en gros, vous auriez besoin d’un nombre exponentiellement grand d’échantillons d’énergie contrastive à pousser vers le haut pour que ces méthodes contrastives fonctionnent. Ils sont toujours assez populaires, mais ils sont vraiment limités à mon avis. Donc, ce que je préfère, c’est la méthode non contrastive ou les méthodes dites régularisées.
« Il n’y a que quelques façons dont deux images peuvent être identiques ou compatibles ; Il y a beaucoup, beaucoup de façons dont deux images peuvent être différentes, et l’espace est de grande dimension.
Et ces méthodes sont basées sur l'idée que vous allez construire la fonction d'énergie de telle sorte que le volume d'espace auquel la valeur que vous donnez à faible énergie est limité. Et cela peut être interprété par un terme de la fonction de perte ou un terme de la fonction d’énergie qui dit de minimiser le volume d’espace qui peut prendre une faible énergie d’une manière ou d’une autre. Nous en avons de nombreux exemples. L’un d’eux est le codage épars intégral qui remonte aux années 1990. Et ce qui me passionne vraiment ces jours-ci, ce sont ces méthodes non contrastives appliquées à l'apprentissage auto-supervisé.
ZDNet : Et vous avez discuté, en particulier, dans vos conférences, de ce que vous appelez le « modèle régularisé basé sur l’énergie variable latente », le RLVEB. Êtes-vous en train de dire que c'est la voie à suivre, les nouveaux réseaux neuronaux convolutifs des années 2020 ou 2030 ?
YL : Eh bien, permettez-moi de le dire de cette façon : je n'ai pas été aussi enthousiaste à propos de quelque chose dans l'apprentissage automatique depuis les réseaux convolutifs, d'accord ? [Rires] Je ne suis pas sûr que ce soit les nouvelles circonvolutions, mais c'est vraiment quelque chose qui m'excite beaucoup. Quand je parlais à l’IAS, ce que j’avais en tête, c’était ce modèle génératif à variable latente régularisé. C’étaient des modèles génératifs parce que, ce que vous faites, si vous voulez l’appliquer à quelque chose comme la prédiction vidéo, vous lui donnez un morceau de vidéo, vous lui demandez de prédire le segment suivant de la vidéo.
Maintenant, j’ai aussi changé d’avis à ce sujet au cours des dernières années. Maintenant, mon modèle préféré n’est pas un modèle génératif qui prédit Y à partir de X. C'est ce que j'appelle le modèle d'intégration conjointe qui prend X, le fait passer par un encodeur, si vous voulez, un réseau neuronal ; prend Y, et le fait également passer par un encodeur, un autre ; Et puis la prédiction a lieu dans cet espace de représentation abstraite. Il y a un énorme avantage à cela.
Tout d’abord, pourquoi ai-je changé d’avis à ce sujet ? J'ai changé d'avis parce que nous ne savions pas comment faire cela auparavant. Maintenant, nous avons quelques méthodes pour le faire qui fonctionnent réellement. Et ces méthodes sont apparues au cours des deux dernières années. Ceux que je pousse, il y en a deux, en fait, que j’ai produits ; l’un s’appelle VIC-REG, l’autre s’appelle Barlow Twins.
ZDNet : Et donc, quels progrès pensez-vous que vous pourriez voir dans ce raisonnement dans les cinq à dix prochaines années ?
YL : Je pense que maintenant nous avons au moins une approche qui peut nous mener vers des systèmes qui peuvent apprendre à prédire dans l’espace abstrait. Ils peuvent apprendre la prédiction abstraite en même temps qu'ils peuvent apprendre à prédire ce qui va se passer, au fil du temps ou des états, dans cet espace abstrait. Et c'est un élément essentiel si vous voulez avoir un système intelligent autonome, par exemple, qui a un modèle du monde qui vous permet de prédire à l'avance ce qui va se passer dans le monde parce que le monde évolue, ou comme les conséquences de ses actions. Ainsi, étant donné une estimation de l'état du monde et étant donné une action que vous entreprenez, cela vous donne une prédiction de ce que pourrait être l'état du monde après que vous ayez pris l'action.
MODÈLE BASÉ SUR L'ÉNERGIE : « VICREG », abréviation de « Variance-Invariance-Covariance Re-Gularization For Self-Supervised Learning », est la dernière version de LeCun de l'architecture des réseaux neuronaux basée sur l'énergie. Un ensemble d’images est transformé en deux pipelines différents, et chaque image déformée est envoyée dans un encodeur qui la compresse essentiellement. Ensuite, un projecteur, également connu sous le nom d'« expandeur », décompresse cette représentation compressée dans une « intégration » finale, la dimension Z. C’est la similitude entre ces deux plongements, invariants à leur distorsion, qui permet au programme de trouver le niveau de basse énergie approprié où quelque chose est identifié.
Et cette prédiction dépend également d’une variable latente que vous ne pouvez pas observer. Par exemple, lorsque vous conduisez votre voiture, il y a la voiture devant vous ; Il pouvait freiner, accélérer, tourner à gauche ou tourner à droite. Il n'y a aucun moyen pour vous de le savoir à l'avance. C'est donc la variable latente. Et donc l’architecture globale est quelque chose où, vous savez, vous prenez X et Y, l’ensemble initial de la vidéo, la vidéo future, vous les intégrez dans un réseau neuronal, vous avez deux représentations abstraites de ces deux choses. Et dans cet espace, vous utilisez l’une de ces variables latentes, des modèles prédictifs basés sur l’énergie.
Le fait est que le modèle prédit maintenant des représentations abstraites du monde. Il ne s'agit pas de prédire tous les détails du monde, dont beaucoup peuvent être hors de propos. Donc, vous conduisez cette voiture sur la route ; Vous pourriez avoir une partie ultra-complexe des feuilles d’un arbre sur le bord de la route. Et il n'y a absolument aucun moyen de le prédire, ou vous ne voulez pas consacrer d'énergie ou de ressources pour le prédire. Ainsi, cet encodeur pourrait, essentiellement, éliminer ces informations avant qu’on ne leur demande.
ZDNet : Et prévoyez-vous, encore une fois, dans les cinq à dix prochaines années, des jalons spécifiques ? Ou des objectifs ?
« Alors, comment faire pour qu’une machine planifie ? Si vous avez un modèle prédictif du monde... Ensuite, vous pouvez faire en sorte que le système imagine son plan d’action, imagine le résultat qui en résulte.
YL : Ce que je prévois, c'est que nous pourrions utiliser ce principe -- j'appelle cela l'architecture JEPA, l'architecture prédictive d'intégration conjointe, et il y a un billet de blog à ce sujet, et il y a un long article que je prépare à ce sujet -- et ce que je vois de cela, c'est que nous avons maintenant un outil pour apprendre des modèles prédictifs du monde. Apprendre des représentations de percepts de manière auto-supervisée sans avoir à entraîner le système pour une tâche particulière. Et parce que les systèmes apprennent des représentations abstraites à la fois de X et de Y, nous pouvons les empiler. Ainsi, une fois que nous avons appris une représentation abstraite du monde qui nous entoure qui peut nous permettre de faire des prédictions à court terme, nous pouvons empiler une autre couche qui apprendrait peut-être des représentations plus abstraites qui nous permettront de faire des prédictions à plus long terme.
Ce serait essentiel pour avoir un système qui apprenne comment le monde fonctionne par l’observation, en regardant des vidéos, n’est-ce pas ? Ainsi, les bébés apprennent, en gros, en regardant le monde passer et apprennent la physique intuitive et tout ce que nous savons sur le monde. Et les animaux le font aussi. Et nous aimerions que nos machines le fassent. Et jusqu'à présent, nous n'avons pas été en mesure de le faire. C’est donc, à mon avis, la voie à suivre pour y parvenir, en utilisant l’architecture d’intégration conjointe, et en les inspectant de manière hiérarchique.
L’autre chose que cela pourrait nous aider, ce sont les machines d’apprentissage profond capables de raisonner. Donc, un sujet de débat, si vous voulez, c’est que ce que l’apprentissage profond a été bon jusqu’à présent, c’est la perception, vous savez, des choses qui sont, voici un intrant, voici le résultat. Et si vous voulez qu’un système raisonne, planifie ? Il y a un peu de cela dans certains des modèles les plus complexes, mais vraiment pas tant que ça.
Et donc, comment faire pour qu’une machine planifie ? Si vous avez un modèle prédictif du monde, si vous avez un modèle qui permet au système de prédire ce qui va se passer à la suite de ses actions, alors vous pouvez faire en sorte que le système imagine son cours d'action, imagine le résultat qui en résulte, puis le transfère à une fonction maison qui, Vous savez, caractérise si la tâche a été accomplie, quelque chose comme ça. Ensuite, en optimisant, éventuellement en utilisant la descente de gradient, déterminez une séquence d’actions qui minimise cet objectif. Nous ne parlons pas d'apprentissage ; Nous parlons maintenant d'inférence, de planification. En fait, ce que je décris ici est une méthode classique de planification et de contrôle optimal pour le contrôle prédictif par modèle.
La différence avec le contrôle optimal, c’est que nous le faisons avec un modèle appris du monde par opposition à une sorte de modèle câblé. Et ce modèle aurait toutes les variables qui permettraient de gérer l’incertitude du monde. Cela peut être la base d’un système d’intelligence autonome capable d’imaginer l’avenir, de planifier une séquence d’actions.
Je veux prendre l’avion d’ici à San Francisco ; J’ai besoin de me rendre à l’aéroport, de prendre un avion, etc. Pour me rendre à l’aéroport, je dois sortir de mon immeuble, descendre la rue et prendre un taxi. Pour sortir de mon immeuble, je dois me lever de ma chaise, aller vers la porte, ouvrir la porte, aller dans l’ascenseur ou dans les escaliers. Et pour ce faire, je dois trouver comment décomposer cela en contrôle musculaire milliseconde par milliseconde. C'est ce qu'on appelle la planification hiérarchique. Et nous aimerions que les systèmes soient capables de le faire. Actuellement, nous ne sommes pas vraiment en mesure de le faire. Ces architectures générales pourraient nous fournir ces choses. C'est ce que j'espère.
ZDNet : La façon dont vous avez décrit les modèles basés sur l'énergie ressemble un peu à des éléments de l'électrodynamique quantique, tels que l'intégrale du chemin de Dirac-Feynman ou la fonction d'onde, où il s'agit d'une somme sur une distribution d'amplitudes de possibilités. Peut-être n'est-ce qu'un lien métaphorique, ou peut-être y a-t-il en fait une correspondance ?
YL : Eh bien, ce n'est pas seulement une métaphore, mais c'est partiellement différent. Lorsque vous avez une variable latente, et que cette variable latente peut prendre un tas de valeurs différentes, en règle générale, vous faites défiler toutes les valeurs possibles de cette variable latente. Cela peut être peu pratique. Par conséquent, vous pouvez échantillonner cette variable latente à partir d’une distribution. Et ensuite, ce que vous calculez, c'est l'ensemble des résultats possibles. Mais, en réalité, ce que vous calculez, en fin de compte, est une fonction de coût, qui donne une valeur attendue où vous faites la moyenne sur les valeurs possibles de cette variable latente. Et cela ressemble beaucoup à une intégrale de chemin, en fait. L'intégrale du chemin, vous calculez la somme de l'énergie sur plusieurs chemins, essentiellement. Du moins de manière classique. De manière quantique, vous n'additionnez pas de probabilités ou de scores ; Vous additionnez des nombres complexes, qui peuvent s'annuler les uns les autres. Nous n'avons pas cela dans le nôtre, bien que nous ayons pensé à des choses comme ça -- du moins, j'ai pensé à des choses comme ça. Mais il n'est pas utilisé dans ce contexte. Mais l’idée de marginalisation sur une variable latente est très similaire à l’idée de résumer sur des chemins ou des trajectoires ; C'est très similaire.
ZDNet : Vous avez fait deux affirmations assez frappantes. L’une d’entre elles est que l’approche probabiliste de l’apprentissage profond est dépassée. Et vous avez reconnu que les modèles basés sur l’énergie dont vous parlez ont un lien avec des approches des années 1980, telles que les réseaux Hopfield. Voulez-vous développer ces deux points ?
« La conscience est une conséquence des limites de notre cerveau. Si nous avions un cerveau de taille infinie, nous n'aurions pas besoin de conscience.
YL : La raison pour laquelle nous devons abandonner les modèles probabilistes est à cause de la façon dont vous pouvez modéliser la dépendance entre deux variables, X et Y ; si Y est de grande dimension, comment allez-vous représenter la distribution sur Y ? Nous ne savons pas comment faire, vraiment. Nous ne pouvons écrire qu’une distribution très simple, une gaussienne ou un mélange de gaussiennes, et des choses comme ça. Si vous voulez avoir des mesures de probabilité complexes, nous ne savons pas comment le faire, ou la seule façon dont nous savons le faire est par le biais d'une fonction d'énergie. Nous écrivons donc une fonction d’énergie où une faible énergie correspond à une probabilité élevée, et une énergie élevée correspond à une probabilité faible, ce qui est la façon dont les physiciens comprennent l’énergie, n’est-ce pas ? Le problème, c’est qu’on ne sait jamais, on sait rarement comment normaliser. Il y a beaucoup d’articles en statistiques, en apprentissage automatique, en physique informatique, etc., qui traitent tous de la façon de contourner le problème que ce terme est insoluble.
Ce que je préconise essentiellement, c'est d'oublier la modélisation probabiliste, de travailler simplement avec la fonction énergétique elle-même. Il n'est même pas nécessaire de faire prendre à l'énergie une forme telle qu'elle puisse être normalisée. En fin de compte, vous devriez avoir une fonction de perte que vous minimisez lorsque vous entraînez votre modèle de données qui fait que la fonction d'énergie des choses compatibles est faible et que la fonction d'énergie des choses incompatibles est élevée. C'est aussi simple que cela.
ZDNet : Et le lien avec des choses comme Hopfield Nets ?
YL : Certainement, les filets Hopfield et les machines Boltzmann sont pertinents pour cela. Les réseaux Hopfield sont des modèles basés sur l’énergie qui sont entraînés de manière non contrastive, mais ils sont extrêmement inefficaces, c’est pourquoi personne ne les utilise.
Les machines de Boltzmann sont essentiellement une version contrastive des réseaux de Hopfield, où vous avez des échantillons de données, et vous réduisez leur énergie, et vous générez d’autres échantillons, et vous poussez leur énergie vers le haut. Et ceux-ci sont un peu plus satisfaisants d'une certaine manière, mais ils ne fonctionnent pas très bien non plus parce que ce sont des méthodes contrastives, et les méthodes contrastives ne s'adaptent pas très bien. Ils ne sont pas utilisés non plus, pour cette raison.
ZDNet : Alors, les modèles régularisés et latents basés sur l’énergie variable doivent-ils vraiment être considérés comme Hopfield Net 2.0 ?
YL : Non, je ne dirais pas ça.
ZDNet : Vous avez fait une autre affirmation assez frappante qu’il n’y a « qu’un seul modèle du monde » et que la conscience est « la configuration délibérée d’un modèle du monde » dans le cerveau humain. Vous avez qualifié cette hypothèse de peut-être folle. Est-ce une conjecture de votre part, une hypothèse folle, ou y a-t-il des preuves pour cela ? Et qu’est-ce qui compterait comme preuve dans ce cas ?
YL : Oui, et oui. C'est une conjecture, c'est une idée folle. Tout ce qui concerne la conscience, dans une certaine mesure, n'est que conjecture et idée folle, parce que nous ne savons pas vraiment ce qu'est la conscience en premier lieu. Mon point de vue à ce sujet, c'est que c'est un peu une illusion. Mais ce que je veux dire ici, qui est un peu facétieux, c'est que la conscience est considérée comme, en quelque sorte, cette sorte de capacité que les humains et certains animaux ont parce qu'ils sont si intelligents. Et ce que je veux dire, c'est que la conscience est une conséquence des limites de notre cerveau parce que nous avons besoin de conscience parce que nous avons ce moteur unique, en quelque sorte, modèle du monde dans notre tête, et nous avons besoin de quelque chose pour le contrôler. Et c'est ce qui nous donne l'illusion de la conscience. Mais si nous avions un cerveau de taille infinie, nous n'aurions pas besoin de conscience.
Il y a au moins quelques preuves que nous avons, plus ou moins, une sorte de moteur de simulation unique dans notre tête. Et la preuve de cela est que nous ne pouvons fondamentalement essayer qu’une seule tâche de conscience à la fois. Nous nous concentrons sur la tâche ; Nous imaginons en quelque sorte les conséquences de nos actions que nous planifions. Vous ne pouvez en faire qu’un seul à la fois. Vous pouvez faire plusieurs tâches simultanément, mais ce sont des tâches subconscientes que nous nous sommes entraînés à faire sans réfléchir, essentiellement. Nous pouvons parler à quelqu'un à côté de nous pendant que nous conduisons après nous être entraînés à conduire assez longtemps pour que cela devienne une tâche inconsciente. Mais dans les premières heures où nous apprenons à conduire, nous ne sommes pas capables de le faire ; Nous devons nous concentrer sur la conduite. Nous devons utiliser notre moteur de prédiction de modèle mondial pour comprendre tous les scénarios effrayants possibles de choses qui peuvent se produire.
ZDNet : Si quelque chose comme ça est une conjecture, alors cela n'a pas vraiment d'importance pratique pour vous dans votre travail pour le moment, n'est-ce pas ?
YL : Non, c'est le cas, pour ce modèle d'IA autonome que j'ai proposé, qui dispose d'un seul moteur de simulation de modèle de monde configurable dans le but de planifier et d'imaginer l'avenir et de remplir les blancs des choses que vous ne pouvez pas complètement observer. Il y a un avantage informatique à avoir un seul modèle configurable. Le fait de disposer d'un moteur unique que vous configurez peut permettre au système de partager ces connaissances entre des tâches, des choses qui sont communes à tout ce qui existe dans le monde que vous avez appris par l'observation ou des choses comme la logique de base. Il est beaucoup plus efficace d'avoir ce grand modèle que vous configurez que d'avoir un modèle complètement séparé pour différentes tâches qui peuvent devoir être formées séparément. Mais nous le voyons déjà, n’est-ce pas ? C’était, à l’époque où Facebook s’appelait encore Facebook, la vision que nous utilisions pour analyser les images, pour faire du classement et du filtrage, nous avions des réseaux neuronaux spécialisés, des réseaux convolutifs spécialisés, en gros, pour différentes tâches. Et maintenant, nous en avons un gigantesque qui fait tout. Nous avions l’habitude d’avoir une demi-douzaine de ConvNets ; Aujourd’hui, nous n’en avons plus qu’un.
Nous voyons donc cette convergence. Nous avons même des architectures qui font tout : elles font de la vision, du texte, de la parole, avec une seule architecture. Ils doivent être formés séparément pour les trois tâches, mais ce travail, data2vec, est une approche auto-supervisée.
ZDNet : Le plus intriguant ! Merci de votre temps.