L’IA pourrait-elle faire de vous un milliardaire en 2025 ?
L’application pratique de l’apprentissage profond peut nécessiter de se concentrer moins sur des ensembles de données géants, mais plutôt sur la façon dont les exemples de données d’entraînement sont traités, explique Andrew Ng.
Le domaine de l’apprentissage profond souffre de ce que l’on pourrait appeler une erreur du Big Data, la croyance que de plus en plus de données est toujours une bonne chose.
Il est peut-être temps de se concentrer sur la qualité plutôt que sur la quantité.
« Il y a un problème très fondamental auquel beaucoup d'IA sont confrontées », a déclaré Andrew Ng, fondateur et PDG de Landing AI, une startup qui travaille à perfectionner la technologie pour des utilisations industrielles, dans une interview avec ZDNet cette semaine.
« Une grande partie de l’IA se concentre sur la maximisation du nombre de calories, ce qui fonctionne jusqu’à un certain point », a-t-il déclaré.
« Et parfois, vous avez beaucoup de données, mais lorsque vous avez un petit ensemble de données, c'est plus la qualité des données que le volume. »
Ng, qui a dirigé le développement de systèmes d’IA à grande échelle, y compris des technologies de reconnaissance vocale, lorsqu’il était fondateur de l’unité Google Brain chez Google il y a dix ans, a maintenant le mandat de développer une technologie d’IA à utiliser par les entreprises clientes à des fins pratiques, telles que l’inspection des usines.
Landing AI a reçu à ce jour un financement de 57 millions de dollars lors d'un tour de table en novembre de l'année dernière, de McRock Capital Insight Partners, Taiwania Capital, l'Office d'investissement du régime de pensions du Canada, Intel Capital, Samsung Catalyst Fund, DRIVE Catalyst de Far Eastern Group, Walsin Lihwa et AI Fund.
Ng est également cofondateur de Coursera, la société de programmes en ligne, et professeur auxiliaire d’informatique à l’Université de Stanford.
L’erreur du Big Data trouve son origine dans le besoin technique que les formes d’apprentissage profond de l’IA ont pour de grands échantillons d’un domaine d’enquête donné. Les approches d'apprentissage profond se sont concentrées sur l'obtention de suffisamment de points de données pour éviter ce que l'on appelle le « sur-ajustement », où des réseaux neuronaux de plus en plus grands mémoriseraient simplement les données d'entraînement.
Si l’apprentissage profond mémorise des données d’entraînement, il ne parvient pas à généraliser sur la nature de ces données, ce qui est généralement la clé de l’utilité d’un réseau neuronal pour faire des prédictions.
Mais un budget de millions, voire de milliards de données n’est pas réalisable dans certains contextes tels qu’un système d’inspection de fabrication, où un seul défaut sur un million de pièces identiques peut être le seul élément de données sur les défauts de fabrication.
« J'ai construit des systèmes d'IA à partir de centaines de millions d'images », explique Ng, fondateur du groupe Google Brain de Google et scientifique en chef chez Baidu. « Ces techniques ne fonctionnent pas vraiment lorsque vous n'avez que 50 images », a-t-il déclaré.
« J'ai construit des systèmes d'IA de centaines de millions d'images » chez Google et en tant que scientifique en chef chez Baidu. « Ces techniques ne fonctionnent pas vraiment lorsque vous n'avez que 50 images », a-t-il déclaré.
Ng a déclaré que Landing AI a été en mesure de développer des modèles industriels utiles pour les clients disposant d’une poignée relative d’échantillons de données.
« Plutôt que sur le Big Data, nous avons dû nous concentrer sur des données de qualité », a déclaré M. Ng.
Contrairement à la pensée typique sur le Big Data, l’utilisation d’un échantillon aussi petit, de dizaines plutôt que de millions d’exemples, peut être réalisable.
« J'ai été surpris à maintes reprises de voir à quel point nous pouvons faire fonctionner un réseau neuronal avec seulement 50 images si vous vous assurez qu'il a 50 très bonnes images », a déclaré Ng. « Les outils que nous avons innovés chez Landing AI sont les suivants : vous n'avez que 50 images, alors comment l'étiqueter pour obtenir les meilleures performances possibles sur seulement 50 images. »
« J'ai l'impression que nous avons trouvé la recette » pour utiliser l'apprentissage profond dans la fabrication, a-t-il déclaré.
Dans un sens, le sophisme du Big Data pourrait être considéré comme la queue qui remue le chien. Pour éviter le surapprentissage, toute l'attention dans l'apprentissage profond a porté sur la façon de faire fonctionner le modèle d'apprentissage profond, la structure du programme, de manière optimale.
Aujourd’hui, Ng plaide pour une plus grande concentration sur les points de données les plus importants et pour que le modèle s’adapte à cela.
« La recette que des gens comme moi et beaucoup de mes amis ont développée pour faire fonctionner l'IA dans les entreprises de logiciels grand public ne fonctionne pas pour les entreprises manufacturières et de nombreuses autres entreprises », a déclaré Ng.
« Le problème fondamental est que, si vous avez cent milliards ou millions d’utilisateurs, vous pouvez construire un système d’IA monolithique ; L’industrie manufacturière est quelque chose de différent.
« C’est un gourou », déclare Ng à propos de David L. Dechow, pionnier de la vision par ordinateur et de l’automatisation industrielle.
Il y a beaucoup, beaucoup d’architectures, de nombreux réseaux neuronaux différents pour s’adapter aux données.
« Le défi auquel le domaine de l’IA est confronté est de savoir comment aider la fabrication à construire non pas un ou une douzaine de modèles d’IA, mais à aider 10 000 fabricants différents à construire 10 000 modèles d’IA différents, car chaque usine, chaque composant a besoin de son propre modèle. »
Le défi pour une start-up, bien sûr, est de « savoir comment faire cela sans que j'embauche 10 000 ingénieurs ». À ses débuts, Landing AI - l'entreprise a été fondée en 2017 - Ng a déclaré qu'il avait été « naïf ».
« Au début, nous faisions beaucoup de travail de conseil, nous essayions de faire une grande partie de la personnalisation nous-mêmes, mais cela n'a tout simplement pas évolué. » Ng pense que beaucoup de startups d'IA rencontrent ce problème et deviennent des sociétés de conseil.
L’entreprise s’est tournée vers la création d’outils pour que tous ces clients fassent la personnalisation. La même approche, a-t-il dit, doit être dans des secteurs tels que les soins de santé.
« L’ingénierie des données est vraiment un défi », a observé Ng. « Je pense qu’il y a des ingénieurs expérimentés en IA qui font intuitivement depuis longtemps, mais construire des outils qui permettent à de nombreuses personnes de le faire rapidement et facilement, c’était un défi technique très important. »
Ng a répandu l’évangile dans des discussions sur le nouvel accent mis sur la qualité et sur la façon de préparer les données pour les approches d’apprentissage automatique.
Il appelle son point de vue « l’IA centrée sur les données ».
Pour en savoir plus sur la pensée de Ng, consultez une interview vidéo en mars.
La société a annoncé mercredi qu’elle avait embauché David L. Dechow, un pionnier dans le domaine de la technologie de vision par ordinateur, qui était auparavant architecte principal du système de vision pour la start-up Integro Technologies.
Une grande partie du travail d’apprentissage automatique effectué dans l’industrie depuis de nombreuses années a consisté à installer des caméras dans l’atelier pour observer la chaîne de fabrication, a noté Ng. Dechow a été un pionnier dans ce mouvement d’observation dans l’usine, a-t-il déclaré.
« Pendant de nombreuses décennies, même avant le récent boom de la vision par ordinateur, les fabricants ont installé des caméras dans les usines », a déclaré Ng. « Les caméras sont très efficaces pour mesurer la longueur exacte d'une pièce et détecter certains types de défauts si vous pouvez coder une règle pour spécifier exactement ce que vous recherchez. »
Avec les systèmes modernes d’apprentissage en profondeur, l’objectif est de rendre l’IA beaucoup plus flexible pour la détection des défauts sans approches aussi rigides basées sur des règles.
« Dans le monde de la vision industrielle et de l’automatisation industrielle, c’est un gourou », a déclaré Ng à propos de Dechow. « Aujourd’hui, des générations d’ingénieurs en vision ont été formées par David.
« Si vous pouviez faire venir une personne du domaine de la vision industrielle, ce serait lui », a déclaré Ng.