Près de la moitié des utilisateurs de la génération AI la souhaitent en open source : voici pourquoi
Qualifiant l'économie de l'intelligence artificielle d'« incroyablement malsaine », Kai-Fu Lee suggère de s'inspirer de Steve Jobs et de l'iPhone.
L'économie de l'intelligence artificielle n'est pas viable pour presque tout le monde, à l'exception du fabricant de puces GPU Nvidia, et cela pose un gros problème pour le développement continu de ce nouveau domaine, selon un célèbre spécialiste de l'IA.
"L'écosystème est incroyablement malsain", a déclaré Kai-Fu Lee lors d'un forum de discussion privé au début du mois. Lee faisait référence à la disparité des bénéfices entre, d'une part, les fabricants d'infrastructures d'IA, notamment Nvidia et Google, et, d'autre part, les développeurs d'applications et les entreprises censées utiliser l'IA pour réinventer leurs opérations.
Lee, qui a été directeur fondateur de Microsoft Research Asia avant de travailler chez Google et Apple, a fondé sa société actuelle, Sinovation Ventures, pour financer des startups telles que 01.AI, qui fabrique un moteur de recherche génératif d'IA appelé BeaGo.
Selon Kai-Fu Lee, spécialiste de l’IA, pour réduire le coût de la génération IA, les entreprises doivent créer leur propre pile technologique intégrée verticalement, comme Apple l’a fait avec l’iPhone.
Les remarques de Lee ont été faites lors de Collective[i] Forecast, une série de discussions interactives organisées par Collective[i], qui se présente comme « une plateforme d'IA conçue pour optimiser les ventes B2B ».
Selon Lee, l'écosystème actuel de l'IA se compose de Nvidia et, dans une moindre mesure, d'autres fabricants de puces tels qu'Intel et Advanced Micro Devices. Collectivement, les fabricants de puces engrangent 75 milliards de dollars de ventes annuelles de puces grâce au traitement de l’IA. "L'infrastructure rapporte 10 milliards de dollars et les applications, 5 milliards de dollars", a déclaré Lee. "Si nous continuons dans cette pyramide inversée, cela va poser un problème", a-t-il déclaré.
Actuellement, ce sont les sociétés de semi-conducteurs comme Nvidia qui gagnent tout l’argent, tandis que les sociétés qui devraient en être les bénéficiaires ultimes - les créateurs d’applications et les utilisateurs - ne voient que très peu de bénéfices.
La « pyramide inversée » est l’expression de Lee pour décrire le renversement sans précédent de l’économie classique de l’industrie technologique. Traditionnellement, les créateurs d’applications gagnent plus d’argent que les fournisseurs de puces et de systèmes qui les fournissent. Par exemple, Salesforce gagne plus d'argent grâce aux applications CRM que Dell et Intel, qui construisent respectivement les ordinateurs et les puces pour exécuter les applications CRM dans le cloud.
De tels écosystèmes sains, a déclaré Lee, "sont développés pour que les applications connaissent plus de succès, qu'elles attirent plus d'utilisateurs, que les applications rapportent plus d'argent, que l'infrastructure s'améliore, que les semi-conducteurs s'améliorent, et ainsi de suite". C'est ainsi que les choses se sont déroulées non seulement dans le cloud, a déclaré Lee, mais aussi dans l'informatique mobile, où la fortune d'Apple et d'ARM a produit des gagnants au « sommet de la pile », comme l'activité publicitaire de Facebook.
À l'inverse, "Lorsque les applications ne rapportent pas d'argent, les utilisateurs n'en tirent pas autant d'avantages, alors le cercle vertueux n'est pas formé."
Revenant au présent, Lee a déploré la nature déséquilibrée de Le marché de Nvidia. "Nous aimerions que Nvidia gagne plus d'argent, mais ils ne peuvent pas gagner plus d'argent que les applications", a-t-il déclaré, faisant référence aux applications d'IA.
Le développement des écosystèmes du cloud, des ordinateurs personnels et des appareils mobiles "ne se produira clairement pas aujourd'hui" au rythme actuel des dépenses en GPU Nvidia, a déclaré Lee. "Le coût de l'inférence doit diminuer" pour qu'un écosystème sain puisse prospérer, a-t-il déclaré. "GPT-4o1 est merveilleux, mais très cher."
Lee est toutefois arrivé à l'événement avec plus qu'un avertissement, proposant une recommandation « pragmatique » qui, selon lui, pourrait résoudre la malheureuse réalité économique. Il a recommandé aux entreprises de créer leur propre pile technologique intégrée verticalement, comme Apple l'a fait avec l'iPhone, afin de réduire considérablement le coût de l'IA générative.
L'affirmation frappante de Lee est que les entreprises les plus performantes seront celles qui construisent elles-mêmes la plupart des composants d'IA générative, y compris les puces, plutôt que de s'appuyer sur Nvidia. Il a cité comment Steve Jobs d'Apple a poussé ses équipes à construire toutes les pièces de l'iPhone, plutôt que d'attendre que le prix de la technologie baisse.
"Nous sommes inspirés par l'iPhone", a déclaré Lee à propos des efforts de BeaGo. "Steve Jobs a été audacieux et a réuni une équipe de personnes issues de nombreuses disciplines - du matériel à iOS en passant par les pilotes et les applications - et a décidé que ces choses se mettaient en place, mais j'ai hâte qu'elles soient toutes conformes aux normes de l'industrie, car d'ici là, n'importe qui peut le faire", a expliqué Lee.
L'application BeaGo, a déclaré Lee, n'a pas été construite sur des composants standard tels que GPT-4o1 d'OpenAI ou Llama 3 de Meta Platforms. Elle a plutôt été assemblée comme un ensemble de matériel et de logiciels développés de concert.
Le fabricant de moteurs de recherche Rhymes AI a réalisé ses propres innovations logicielles et matérielles pour réduire de 50 fois le coût de l'inférence Gen AI, a déclaré Lee.
"Grâce à l'intégration verticale, [nous avons conçu] un matériel spécial qui ne fonctionnerait pas nécessairement avec d'autres moteurs d'inférence", a expliqué Lee. Par exemple, même si une puce GPU est toujours utilisée pour la création de prédictions, elle a été améliorée avec davantage de mémoire principale, connue sous le nom de mémoire à large bande passante (HBM), pour optimiser la mise en cache des données.
Le logiciel utilisé pour BeaGo n'est "pas un modèle générique". Sans divulguer de détails techniques, Lee a déclaré que le modèle de langage étendu de l'IA générative n'est "pas nécessairement le meilleur modèle, mais c'est le meilleur modèle que l'on puisse former, étant donné la nécessité d'un moteur d'inférence qui ne fonctionne que sur ce matériel et excelle dans ce matériel". et des modèles qui ont été formés étant donné qu'il sait que ce serait une inférence sur ce matériel.
La construction de l'application, y compris le matériel et la nouvelle base de données permettant de mettre en cache les résultats des requêtes, a coûté 100 millions de dollars à BeaGo et à ses bailleurs de fonds, a déclaré Lee. "Vous devez revenir aux premiers principes et dire : « Nous voulons faire une inférence ultra rapide à un coût phénoménalement inférieur, quelle approche devrions-nous adopter ? » "
Lee a démontré comment BeaGo peut obtenir une réponse unique à une question en un clin d'œil. "La vitesse fait toute la différence", a-t-il déclaré, en la comparant aux débuts de Google, lorsque le nouveau moteur de recherche fournissait des résultats beaucoup plus rapidement que les moteurs établis tels que Yahoo!
Un modèle de base standard d'IA tel que Meta's Llama 3.01 405b, a déclaré Lee, "ne sera même pas près de fonctionner pour ce scénario". Non seulement BeaGo est capable d'atteindre une plus grande vitesse d'inférence - le temps nécessaire pour renvoyer une prédiction en réponse à une requête de recherche - mais c'est aussi considérablement moins cher, a déclaré Lee.
Le coût d'inférence standard actuel utilisant un service tel que GPT-4 d'OpenAI est de 4,40 $par million de jetons, a noté Lee. Cela équivaut à 57 cents par requête - « encore beaucoup trop cher, toujours 180 fois plus cher que le coût d'une recherche sans IA », a expliqué Lee.
Il comparait le coût au coût standard par requête de Google, estimé à trois dixièmes de cent par requête.
Le coût pour BeaGo pour répondre aux requêtes est « proche d'un centime par requête », a-t-il déclaré, « donc c'est incroyablement bon marché ».
L'exemple de BeaGo, a soutenu Lee, montre que « ce qui doit se produire pour catalyser l'écosystème d'applications [IA] [ne] se produira pas simplement en restant assis ici en utilisant la dernière API OpenAI, mais par quelqu'un qui ose aller en profondeur et le faire. intégration verticale."
L'aperçu austère de Lee sur le présent contraste avec sa conviction que l'IA générative permettra un nouvel écosystème qui sera finalement aussi fructueux que l'ère du PC, du cloud et du mobile.
"Au cours des deux prochaines années, toutes les applications seront réécrites et apporteront de la valeur à l'utilisateur final", a déclaré Lee. "Il y aura des applications qui n'existaient pas auparavant, des appareils qui n'existaient pas auparavant, des modèles économiques qui n'existaient pas auparavant."
Chaque étape de ce développement, a déclaré Lee, "conduira à plus d'utilisation, plus d'utilisateurs, des données plus riches, une interaction plus riche, plus d'argent à gagner". Ces utilisateurs "exigeront de meilleurs modèles et apporteront davantage d'opportunités commerciales", a-t-il déclaré.
"Il a fallu 10 ans à l'industrie mobile pour construire [un écosystème performant]", a-t-il déclaré. "Il a fallu peut-être 20 ans à l'industrie informatique pour le construire ; je pense, avec la génération AI, peut-être deux ans."
Lee a donné son avis sur ce à quoi ressembleront les cas d'utilisation des consommateurs et des entreprises si l'IA générative se déroule avec succès. Pour les consommateurs, a-t-il déclaré, le modèle de smartphone d’aujourd’hui va très probablement disparaître.
"L'écosystème d'applications n'est en réalité que la première étape, car une fois que nous commençons à communiquer avec les appareils par la parole, le téléphone n'est plus vraiment la bonne chose, car nous voulons être toujours à l'écoute, toujours allumés, et les téléphones ne le sont plus."
Quant aux magasins d'applications, a déclaré Lee, "ils disparaîtront parce que les agents feront directement les choses que nous voulons, et beaucoup d'applications et de commerce électronique - cela changera beaucoup, mais c'est plus tard."
Le chemin vers l'utilisation de l'IA générative par les entreprises sera beaucoup plus difficile que le cas d'utilisation par les consommateurs, a émis l'hypothèse de Lee, en raison de facteurs tels que la nature bien ancrée des groupes d'affaires au sein des entreprises, ainsi que la difficulté d'identifier les domaines qui réellement obtenir un retour sur investissement.
"Les entreprises iront plus lentement", a-t-il déclaré, "parce que les DSI ne sont pas nécessairement pleinement alignés sur ce que la génération AI peut faire, ni nécessairement pleinement informés de ce que la génération AI peut faire."
De même, connecter l’IA générative aux données stockées dans les systèmes ERP et CRM, a déclaré Lee, « est très, très difficile ». Le « plus grand obstacle » à la mise en œuvre de la génération AI, a déclaré Lee, « ce sont les gens qui sont habitués à faire les choses d'une seule manière et ne sont pas nécessairement prêts à adopter » de nouvelles approches technologiques.
En supposant que ces obstacles puissent être surmontés, a déclaré Lee, les premiers projets de Gen AI, tels que l'automatisation des processus de routine, sont « de bons points de départ, mais je dirais aussi que ce ne sont pas les meilleurs points pour créer le plus de valeur ».
"En fin de compte, pour les entreprises, je pense que la génération AI devrait devenir le cerveau central de l'entreprise, et non ces éléments quelque peu périphériques. Pour une société énergétique, quel est le cœur du forage pétrolier, n'est-ce pas ?" » proposa Lee. "Pour une institution financière, l'essentiel est de gagner de l'argent."
Ce qui devrait en résulter, a-t-il déclaré, c'est "un groupe plus petit et plus restreint de dirigeants qui ne se contentent pas d'embaucher des personnes pour résoudre des problèmes, mais qui délèguent à l'IA d'entreprise intelligente pour des fonctions particulières - c'est à ce moment-là que cela fera le plus gros problème".
"L'essentiel n'est pas seulement d'économiser de l'argent", a déclaré Lee, "mais de gagner de l'argent, et pas n'importe quel argent, mais de gagner de l'argent dans la partie centrale et stratégique de l'activité de l'entreprise".