L'IA a provoqué une renaissance de la R&D dans l'industrie technologique, selon le scientifique en chef de l'IA de Meta
Il existe déjà de nombreuses applications commerciales prometteuses qui peuvent mener à des augmentations de productivité, mais, en fin de compte, l’IA doit développer une capacité de planification si elle veut vraiment progresser, explique Yann LeCun.
La force de l’ère de l’apprentissage profond de l’intelligence artificielle a conduit à une sorte de renaissance de la R&D d’entreprise dans le domaine des technologies de l’information, selon Yann LeCun, scientifique en chef de l’IA chez Meta.
« Le type de techniques sur lesquelles nous avons travaillé a eu un impact commercial beaucoup plus important, beaucoup plus large » que ce n'était le cas lors des époques précédentes de l'intelligence artificielle, a déclaré LeCun lors d'une petite réunion de la presse et des dirigeants via Zoom ce mois-ci.
« Et le résultat est que cela a attiré beaucoup de financement de la recherche et, en fait, a provoqué un renouveau de la recherche industrielle. »
Il y a vingt ans à peine, Microsoft Research était la seule entité industrielle qui « avait une certaine stature dans le domaine des technologies de l’information ». Mais ensuite, a déclaré LeCun, les années 2010 ont vu « Google Research vraiment prendre le devant de la scène, et FAIR [Facebook AI Research], que j’ai créé, et quelques autres laboratoires qui ont démarré, et essentiellement relancer l’idée que l’industrie pourrait faire de la recherche fondamentale.
Cette résurgence de la R-D d’entreprise se produit, a déclaré M. LeCun, « parce que la perspective de ce qui pourrait se passer à l’avenir, et de ce qui se passera dans le présent, grâce à ces technologies, est excellente ».
La valeur de l’IA appliquée, a déclaré M. LeCun, conduit à un système à deux voies, où la R&D d’entreprise maintient des projets à plus long terme et lunaires, puis à une autre voie qui canalise la recherche vers des applications pratiques de produits.
« Il est tout à fait logique qu'une entreprise comme Meta dispose, en même temps, d'un grand laboratoire de recherche qui a des objectifs ambitieux à long terme, comme la création d'assistants virtuels intelligents dotés d'une intelligence de niveau humain, car c'est ce que nous voulons, en fin de compte ; Mais en même temps, la technologie qui a été développée est déjà utile.
« Par exemple, la modération de contenu et la détection de la parole dans plusieurs langues ont été complètement révolutionnées au cours des deux ou trois dernières années par de grands Transformers pré-entraînés de manière auto-supervisée », a déclaré LeCun, faisant référence au programme de traitement du langage naturel Transformer de Google, introduit en 2017, qui est devenu la base de nombreux programmes tels que ChatGPT d'OpenAI.
« Il a fait d'énormes progrès, des progrès incroyables, et c'est grâce aux dernières recherches sur l'IA », a déclaré M. LeCun.
LeCun a été invité à participer à une conférence d’une heure et demie organisée par le Collective[i] Forecast, une série de discussions interactives en ligne organisées par Collective[i], qui se présente comme « une plateforme d’IA conçue pour optimiser les ventes B2B ».
M. LeCun répondait à une question de ZDNET sur l’effet de l’intérêt sans précédent de l’industrie et du commerce pour l’IA sur la science fondamentale de l’IA.
M. LeCun s’est décrit comme « optimiste » quant à la capacité de l’IA appliquée à être utilisée pour le bien de la société. Même lorsque l’IA ne parvient pas à atteindre certains objectifs, elle produit des effets qui peuvent être bénéfiques, a-t-il indiqué.
M. LeCun a donné l’exemple de systèmes de véhicules autonomes qui, même s’ils n’ont pas réussi à être véritablement autonomes, ont eu le dividende de fournir des caractéristiques de sécurité routière qui sauvent des vies.
« Chaque voiture qui sort en Europe doit maintenant être équipée d’un système de freinage d’urgence automatique (ABS) », a observé M. LeCun. « Ce n'est pas obligatoire aux États-Unis. Mais beaucoup de voitures l’ont.
L’ABS, a-t-il noté, sont « les mêmes systèmes qui permettent également à la voiture de se conduire sur l’autoroute, n’est-ce pas ? » Le mécanisme de freinage réduit les collisions de 40 %, a-t-il noté. « Donc, malgré tout ce que vous entendez sur, vous savez, la Tesla qui a percuté un camion ou quoi que ce soit, ces choses sauvent absolument des vies, au point qu’elles sont nécessaires. »
M. LeCun a également déclaré que « l'une des choses que je trouve assez prometteuses à propos de l'IA est l'utilisation de l'IA dans la science et la médecine à l'heure actuelle » pour améliorer la vie des gens.
« Il existe de nombreux systèmes expérimentaux, dont quelques centaines ont obtenu l’approbation de la FDA, qui améliorent la fiabilité du diagnostic à partir de l’IRM et des rayons X et de diverses autres choses pour un certain nombre de maux différents », a déclaré LeCun. « Cela va avoir un impact énorme sur la santé. »
Ces percées, bien que positives, sont petites, a-t-il dit, comparées à « la grande chose », à savoir « la façon dont l’IA est utilisée pour la science à l’avenir.
« Nous avons des systèmes qui peuvent replier des protéines, nous avons maintenant des systèmes qui seraient capables de concevoir des protéines pour qu'elles adhèrent à un site particulier, ce qui signifie que nous pouvons concevoir des médicaments d'une manière complètement différente de ce que nous avons fait dans le passé », a déclaré LeCun.
L’IA a également « un énorme potentiel de progrès dans la science des matériaux », a déclaré LeCun. « Et nous allons en avoir besoin parce que nous devons résoudre le changement climatique, donc, nous devons être en mesure d'avoir des batteries de grande capacité qui ne coûtent pas une fortune et ne vous obligent pas à utiliser des matériaux exotiques que nous ne pouvons trouver qu'à un seul endroit. »
LeCun a cité l’un de ces projets de matériaux, Open Catalyst, fondé par des collègues de FAIR, qui travaille avec l’Université Carnegie Mellon pour appliquer l’IA afin de développer « de nouveaux catalyseurs à utiliser dans le stockage de l’énergie renouvelable pour aider à lutter contre le changement climatique ».
« L’idée est de couvrir un petit désert avec des panneaux photovoltaïques, puis de stocker l’énergie utilisée par ces panneaux, par exemple, sous forme d’hydrogène ou de méthane », a expliqué M. LeCun. Les approches actuelles pour stocker les produits à base d’hydrogène ou de méthane, a-t-il dit, sont « soit évolutives, soit efficaces, mais pas les deux ».
« Pourrions-nous découvrir, peut-être à l’aide de l’IA, un nouveau catalyseur qui rendrait ce processus plus efficace ou plus évolutif en ne nécessitant pas de nouveau matériau exotique ? Cela ne fonctionnera peut-être pas, mais cela vaut la peine d'essayer.
Malgré ces nombreuses applications commerciales et appliquées prometteuses, LeCun a suggéré que l'étroitesse des utilisations industrielles n'est pas à la hauteur de l'objectif plus vaste de l'IA, la quête d'une intelligence au niveau animal ou humain.
Les énormes avancées de recherche qui sous-tendent les applications d'aujourd'hui, telles que les Transformers, ont été rendues possibles à l'ère de l'apprentissage profond par une disponibilité sans précédent des données et de l'informatique, a déclaré LeCun, tandis que les avancées scientifiques fondamentales n'ont pas toujours été aussi abondantes ou aussi riches.
« Ce qui a provoqué la vague la plus récente, c'est, d'abord, quelques avancées conceptuelles - mais, franchement, pas énormes, et pas si impressionnantes - mais, vraiment, la quantité de données disponibles et la quantité de calculs qui ont permis de faire évoluer ces systèmes. »
Des éléments tels que les grands modèles de langage, tels que GPT-3, le programme informatique sur lequel ChatGPT est basé, sont la preuve que la mise à l’échelle de l’IA, c’est-à-dire l’ajout de couches supplémentaires de paramètres réglables, améliore directement les performances des programmes. « Il s’avère qu’ils fonctionnent très bien lorsque vous les mettez à l’échelle », a-t-il déclaré à propos de GPT-3 et de ses semblables.
L’industrie pourrait trouver des rendements décroissants à un moment donné, a déclaré M. LeCun, en s’appuyant uniquement sur la mise à l’échelle sans explorer d’autres avenues.
« Beaucoup d’entreprises telles qu’OpenAI, en particulier, ont utilisé cela comme un mantra, il suffit de rendre les choses plus grandes, et cela fonctionnera mieux », a-t-il déclaré. « Mais je pense que nous atteignons les limites de cela en ce moment. »
Malgré la mise à l'échelle de modèles de plus en plus grands, a déclaré LeCun, « Nous ne semblons pas être en mesure d'entraîner un système [automobile] de conduite autonome complètement autonome en se contentant d'entraîner des réseaux neuronaux plus grands sur plus de données ; qui ne semble pas y arriver.
Aussi impressionnants soient-ils, des programmes tels que ChatGPT, que LeCun a qualifié de « pas particulièrement innovant » et « rien de révolutionnaire », n’ont pas de capacité de planification, a-t-il déclaré.
« Ils sont complètement réactifs », a déclaré LeCun. « Vous leur donnez un contexte de quelques milliers de mots », c’est-à-dire l’invite de type humain : « Et à partir de là, le système génère simplement le jeton suivant, de manière complètement réactive. »
« Il n'y a pas de planification à l'avance ou de décomposition d'une tâche complexe en tâches plus simples, c'est juste réactif », a déclaré M. LeCun.
LeCun a donné l’exemple du programme OpenAI Co-Pilot, qui a été intégré par Microsoft dans la plateforme de gestion de code GitHub. « Il y a une très grande limitation de ces systèmes », a-t-il déclaré. « Ils sont utilisés, en gros, comme un clavier prédictif sur les stéroïdes. »
« Vous commencez à écrire votre programme, et vous décrivez ce qu’il devrait faire dans les commentaires, et vous avez des outils basés sur de grands modèles de langage qui complèteront le programme », a-t-il expliqué.
Une telle complétion automatique est comme un régulateur de vitesse dans les voitures qui aide à la conduite sur l’autoroute. « Vos mains doivent rester sur le volant à tout moment » car Co-Pilot peut générer des erreurs dans le code sans se rendre compte de l’erreur.
« La question est de savoir comment nous pouvons obtenir des systèmes qui génèrent du code qui parfois s'exécute mais parfois non », a déclaré LeCun. « Et la réponse à cette question est que tous ces systèmes ne sont aujourd’hui pas capables de planifier ; Ils sont complètement réactifs.
« Et ce n’est pas ce dont vous avez besoin pour un comportement intelligent. »
Au contraire, a déclaré LeCun, « si vous voulez un comportement intelligent, vous avez besoin d’un système capable d’anticiper l’effet de ses propres actions », ainsi que d’avoir « une sorte de modèle de monde interne, un modèle mental de la façon dont le monde va changer en conséquence de ses propres actions ».
L’été dernier, M. LeCun a présenté un document de réflexion sur la nécessité d’avoir des programmes dotés d’une capacité de planification, un sujet dont il a longuement discuté avec ZDNET en septembre.
Pour l’instant, la résurgence de la R-D en technologie de l’information d’entreprise n’a pas encore conduit au résultat le plus prisé de la technologie, la productivité, a déclaré M. LeCun, mais cela pourrait se produire au cours de la prochaine décennie.
Citant les travaux du chercheur Erik Brynjolfsson du groupe d'intelligence artificielle centrée sur l'humain de l'Université de Stanford, LeCun a noté que les économistes considèrent l'IA comme une « technologie à usage général », c'est-à-dire quelque chose qui « se répandra lentement dans tous les coins de l'économie et de l'industrie et affectera fondamentalement toute l'activité économique » par divers effets tels que la création de nouveaux emplois. le déplacement d’autres emplois, etc., « et conduire à une productivité accrue parce qu’elle favorise l’innovation ». En d’autres termes, l’innovation qui s’appuie sur l’innovation est l’équivalent économique de la productivité.
« Ce qu’Eric, en particulier, a dit, c’est qu’au moins jusqu’à très récemment, nous n’avons pas observé d’augmentation de la productivité due à l’IA, et, historiquement, il dit qu’il faut environ 15 ou 20 ans pour voir un effet mesurable sur la productivité d’une révolution technologique.
« Donc, selon sa prédiction, cela va probablement se produire au cours des dix prochaines années. »
La résurgence de la R-D de base en technologie de l’information pourrait avoir un certain pouvoir d’endurance, compte tenu de son attrait pour les jeunes chercheurs, a indiqué M. LeCun.
« Je pense qu'un phénomène que nous avons observé, c'est que de jeunes personnes talentueuses aspirent maintenant à devenir des chercheurs en IA parce que c'est la chose cool à faire, alors qu'auparavant, les mêmes personnes se seraient tournées vers la finance », a déclaré M. LeCun. « C'est mieux pour eux d'aller en science, je pense. »