Qu'est-ce qu'une « dérive de l'IA » et pourquoi rend-elle ChatGPT plus stupide ?

Vous voudrez peut-être repenser l'utilisation de GPT-4, en particulier pour les problèmes mathématiques.

Que vous en ayez fait l'expérience vous-même en utilisant ChatGPT ou que vous ayez lu des informations à ce sujet, les rumeurs sont vraies, ChatGPT devient de plus en plus stupide.

Ce phénomène est particulièrement déroutant car les modèles d’IA génératifs utilisent les entrées des utilisateurs pour s’entraîner en permanence, ce qui devrait les rendre plus intelligents à mesure qu’ils accumulent davantage d’entrées d’utilisateurs au fil du temps.

La réponse réside peut-être dans un concept appelé « dérive ».

Une « dérive » fait référence au moment où les grands modèles de langage (LLM) se comportent de manière inattendue ou imprévisible et s'éloignent des paramètres d'origine. Cela peut se produire parce que les tentatives d'amélioration de certaines parties de modèles d'IA complexes entraînent une détérioration des performances d'autres parties.

Des chercheurs de l'Université de Californie à Berkeley et de l'Université de Stanford ont mené une étude pour évaluer les dérives et examiner comment les grands modèles de langage (LLM) populaires de ChatGPT, GPT 3.5 (le LLM derrière ChatGPT) et GPT-4 (le LLM derrière Bing Chat et ChatGPT Plus ) a changé au fil du temps.

L'étude a comparé la capacité des deux LLM à résoudre des problèmes mathématiques, à répondre à des questions sensibles, à répondre à des enquêtes d'opinion, à répondre à des questions multi-sauts à forte intensité de connaissances, à générer du code, à passer des examens de licence médicale américaine et à effectuer des tâches de raisonnement visuel en mars et juin.

Comme le montrent les résultats de l'étude ci-dessus, la version de mars de GPT-4 a surpassé la version de juin dans de nombreux cas, le plus flagrant étant les invites mathématiques de base où la version de mars de GPT-4 a surpassé la version de juin dans les deux exemples (a) et (b). ).

GPT-4 s'est également détérioré au niveau de la génération de code, de la réponse aux questions d'examen médical et des réponses aux enquêtes d'opinion. Tous ces cas peuvent être attribués au phénomène de dérive.

Concernant les dérives, l'un des chercheurs, James Zou, a déclaré au Wall Street Journal : "Nous soupçonnions que cela pourrait se produire ici, mais nous avons été très surpris de la rapidité avec laquelle la dérive se produit."

Malgré la détérioration des renseignements, il y a également eu quelques cas d'amélioration dans GPT-4 et GPT-3.5.

En conséquence, les chercheurs encouragent les utilisateurs à continuer à utiliser les LLM, mais à faire preuve de prudence lorsqu’ils les utilisent et à les évaluer constamment.