Vous attendez que ChatGPT s’améliore ? Vous attendez peut-être un moment, voici pourquoi

Résumé

• La cadence de publication de ChatGPT ralentit, évoluant vers des mises à jour annuelles.
• La technologie des transformateurs et la diminution des rendements ralentissent le développement du LLM.
• Le manque de données de formation et les modèles de profit incertains remettent en question l’avenir des projets d’IA comme ChatGPT.

ChatGPT a changé la façon dont de nombreuses personnes dans le monde vivent et travaillent, mais ceux qui ont un œil attentif sur la cadence des modèles ont remarqué un ralentissement ces derniers temps. Que se passe-t-il avec le développement du LLM et nous dirigeons-nous vers un âge sombre de l’IA en 2025 et au-delà ?

ChatGPT : une chronologie

Lorsque OpenAI a lancé son premier modèle public, ChatGPT 3.5, en novembre 2022, il a pris d'assaut les secteurs de la recherche et de l'IA. Jusqu'au lancement de Meta Threads en 2023, ChatGPT était l'application à la croissance la plus rapide de tous les temps, ajoutant 100 millions d'utilisateurs à sa liste en moins de trois mois.

Depuis lors, la société est passée d’une cadence d’environ six mois entre les nouveaux modèles à une mise à jour annuelle. Alors qu'il ne s'est écoulé que cinq mois entre le lancement de ChatGPT 3.5 et de ChatGPT 4.0, il a fallu de mars 2023 à décembre 2024 pour que ChatGPT o1 soit publié par la suite.

O3 n’ayant pas de date de lancement ferme, on ne sait pas vraiment quand nous pourrions voir le prochain grand modèle d’OpenAI. Certains premiers testeurs ont déjà mis la main sur la version bêta, mais cela ne donne pas beaucoup d’indication quant au moment où nous pouvons nous attendre à ce que la prochaine évolution des LLM arrive sur les PC publics. Alors, quelles sont les raisons pour lesquelles le développement du LLM a commencé à ralentir, et les investissements du monde technologique finiront-ils par porter leurs fruits ?

Autobots, déploiement

Les transformateurs sont la technologie fondamentale qui a transformé pour la première fois (faute d'un meilleur terme) l'industrie de l'IA, à partir de 2017 environ. En utilisant l'architecture CUDA au sein des GPU comme plate-forme de calcul totale plutôt que comme seul rendu d'image, les transformateurs sont capables de transformer même les plus cartes graphiques de base en processeurs compatibles avec l'IA.

Mais alors que bon nombre des premiers modèles de grands modèles de langage (LLM) et leurs entrées de jetons plus petites ont pu tirer davantage parti de l’architecture CUDA, nous avons récemment constaté des rendements décroissants. Comme une version accélérée de la loi de Moore – qui est certes une simplification drastique de la technologie au service de la brièveté – les GPU ont commencé à atteindre des sommets en termes de performances d'IA malgré l'augmentation des investissements dans la densité des transistors et les spécifications VRAM d'année en année.

Même le discours d'ouverture de Nvidia au CES de cette année a suscité des réactions tièdes, car il est devenu clair que nous avons déjà atteint la phase « évolutive » du matériel d'IA, plutôt que les sauts « révolutionnaires » que certains attendaient compte tenu de la trajectoire des dernières années.

Nous ne sommes pas encore aussi près du point de pousser le matériel d’IA basé sur GPU jusqu’à sa limite physique théorique qu’avec certains processeurs classiques. (Remarque : cela n'inclut pas les nouvelles approches basées sur la 3D.) Cependant, les gains majeurs que nous avons constatés au cours des cinq dernières années dans les GPU et la prise en charge des architectures de transformateur commencent à ralentir, plutôt que le sprint que certains Les acteurs du secteur espéraient une informatique classique entre les années 1980 et le début des années 2000.

Racler le fond du baril

Un autre obstacle important auquel de nombreuses entreprises LLM sont actuellement confrontées, y compris OpenAI avec ChatGPT, est le manque de données de formation. Comme tous les LLM soutenus par la FAANG (Gemini, Claude et ChatGPT) ont déjà appris et se sont formés sur ce qui pourrait effectivement être considéré comme l'intégralité des informations publiques disponibles sur le Web ouvert, les entreprises se heurtent à un mur de briques d'entrée-sortie. revient.

Sans beaucoup de nouvelles données sur lesquelles former la prochaine génération de modèles, certains développeurs se sont tournés vers ce que l'on appelle le modèle de formation « récursif ». Dans ces cas, l’IA est utilisée pour entraîner l’IA, mais les résultats ont été, au mieux, mitigés. Bien que des concepts et des tâches plus simples puissent être entraînés de manière récursive, obtenir des résultats supérieurs à ceux observés avec une IA entraînée sur des résultats humains est un problème d'hallucination. Si vous pensiez auparavant que les IA pouvaient halluciner, essayez de nourrir une IA vers une IA et voyez quel type de résultats reviennent. Bref, une part non négligeable est constituée sur place.

Qui paie la facture ?

La course à la suprématie de l’IA et du LLM a alimenté un feu d’argent déversé dans l’industrie, qui devrait totaliser plus de 1 000 milliards de dollars au cours des prochaines années, comme le prévoit une récente analyse de Goldman Sachs. Cependant, même avec tout cet argent de garde, le coût irrécupérable de la formation et du maintien d'un LLM comme ChatGPT est toujours à la recherche d'un canal de profit pour garder les lumières allumées.

La formation, le fonctionnement et les demandes d'extraction des LLM coûtent beaucoup plus cher que votre recherche Google standard. Certaines estimations suggèrent qu'une requête ChatGPT pourrait utiliser dix fois les besoins en calcul et en énergie d'une requête Google, bien que les chiffres réels soient un secret bien gardé par OpenAI. Jusqu'à récemment, tous les principaux acteurs des FAANG abordaient l'IA avec le manuel d'exploitation standard : "1. Dépensez plus d'argent en capital-risque que vos concurrents 2. Capturez la part de marché la plus élevée possible 3. ??? 4. Profit."

Mais le monde de l’IA est tout sauf standard. Comme les coûts de calcul ont grimpé en flèche, ce n’est pas un hasard, parallèlement au cours de l’action de Nvidia, le modèle de profit réel permettant de récupérer ces coûts semble encore, au mieux, flou.

ChatGPT facture 20 $par mois pour accéder à ses modèles les plus avancés et les plus récents. Mais même avec ses 11 millions d'abonnés payants, selon un rapport de The Information citant le COO d'OpenAI, OpenAI envisage toujours de nouveaux niveaux d'abonnement pour des LLM plus avancés qui pourraient aller jusqu'à 2 000 $par mois, en fonction des capacités.

Ce problème est encore aggravé par la diminution des rendements des résultats. Alors que de nombreuses personnes estiment que les modèles gratuits comme ChatGPT 4o sont « assez bons » pour ce dont ils ont besoin – « assez » étant une expérience subjective pour chaque utilisateur et son cas d'utilisation bien sûr – l'argument de vente de l'abonnement mensuel perd de sa valeur. Cette crainte d’une perte potentielle de capital a conduit à un ralentissement des investissements dans l’IA par rapport aux années précédentes, ce qui signifie un ralentissement du développement en nature.

Quand ChatGPT fera-t-il son prochain bond ?

Alors que ChatGPT se prépare au lancement de son modèle o3, les analystes du secteur s'attendent à ce qu'il s'agisse de la seule nouvelle version publique que nous verrons d'OpenAI au cours de l'année 2025. Beaucoup sont heureux d'avoir tort, mais étant donné les problèmes mentionnés ci-dessus, cela semble plus probable de jour en jour.

Mais finalement, est-ce une si mauvaise chose ? Comme le montre le classement de Chatbot Arena, les itérations de modèles qui ne prenaient auparavant que des mois pour sauter des centaines de points entre les versions ont à peine bougé de plus de quelques dizaines en plus d'un an. Nous atteignons le sommet de ce dont les LLM sont capables, même dans leurs environnements les plus performants, et même si les applications d'entreprise à grande échelle sont encore prêtes à être sélectionnées, ce qu'un LLM peut faire pour votre utilisateur moyen semble se rapprocher de sa limite théorique.

Alors, quand mettrez-vous la main sur la prochaine version de ChatGPT ? Seul le temps nous le dira. Mais, en attendant, des modèles comme ChatGPT o1 et 4o sont toujours très puissants pour gérer l'établissement d'une liste d'épicerie triée par allées, vous aidant à vous rappeler dans quel livre vous avez lu une citation spécifique, ou tout ce que vous aimez pour utiliser votre chatbot préféré pour la plupart. souvent.