ChatGPT : Ce que le New York Times et d'autres se trompent terriblement à ce sujet

Les programmes d’IA peuvent exprimer leurs résultats dans un style ou une « personnalité », mais ce n’est pas « troublant » ni « effrayant », comme le prétendent des reportages haletants. Voici ce qui se passe réellement.

ChatGPT d'OpenAI, le programme d'intelligence artificielle qui a fait la une des journaux pour générer du texte d'apparence humaine, a récemment provoqué une nouvelle série de controverses lorsque la version exécutée dans la version bêta de la recherche Bing de Microsoft a commencé à produire des résultats bizarres que certains utilisateurs ont trouvé dérangeants.

Malheureusement, certains rapports sur le chatbot prêtent à confusion. Dans la précipitation pour raconter chaque nouveau détail sur le chatbot d'une manière qui attirera l'attention, les journalistes utilisent un langage dramatique qui n'informe pas et obscurcit en fait ce qui se passe avec l'IA d'une manière qui ne rend pas service au public.

Un excellent exemple est la publication par le New York Times d'un rapport de première main de l'écrivain Kevin Roose sur une session de deux heures avec Bing dans la version bêta. Au cours de la séance, raconte Roose, le programme a révélé une personnalité sous le surnom de "Sydney", a déclaré son amour pour Roose et a commencé à faire des insinuations agressives sur le mariage de Roose.

Roose raconte qu'il était « profondément perturbé, voire effrayé » à la suite de l'échange.

Cette hyperbole est trompeuse. Si, comme le prétend Roose, il comprend le fonctionnement de l’IA, alors il n’y a aucune raison d’utiliser un langage aussi dramatique. L'évitement d'un verbiage étrange peut être inapproprié, mais il s'agit d'un aspect bien connu des chatbots appelé « persona ».

Un chatbot IA tel que ChatGPT est programmé pour produire le symbole suivant dans une chaîne de symboles qui est le complément ou la continuation le plus probable des symboles qu'il est alimenté par un humain à l'invite de commande. La manière dont le programme produit ce résultat peut être façonnée pour se conformer à un certain genre ou style, qui est le personnage.

Par exemple, dans un document de recherche publié sur arXiv en janvier, les scientifiques d'IBM ont utilisé une autre version d'un programme OpenAI, appelé Codex, développé en ingérant 54 millions d'exemples de code logiciel provenant de GitHub. Le programme Codex est utilisé pour le programme GitHub Copilot de Microsoft, pour faciliter la programmation.

L'auteur principal Steven Ross d'IBM Research et ses collègues se sont demandés s'ils pouvaient amener le programme Codex à produire des interactions allant au-delà de la simple fourniture de code informatique. Ils ont appelé leur tentative « Une étude de cas sur l'ingénierie d'un assistant de programmation conversationnelle » et ont surnommé leur adaptation du Codex «l'assistant du programmeur».

L'invite, à laquelle les scientifiques tapent leur chaîne de mots, est la façon dont ils « programment » le personnage pour leur version du programme Codex.

"L'invite initiale que nous utilisons pour l'assistant programmeur consiste en un prologue qui introduit la scène de la conversation, établit le personnage de l'assistant, donne le ton et le style d'interaction."

Lorsqu'ils ont commencé leur invite par « Ceci est une conversation avec Socrates, un assistant expert en ingénierie logicielle automatique d'IA », le programme a répondu par une conversation, comme ChatGPT, mais les auteurs ont estimé que c'était trop « didactique », une sorte de savoir-faire. tous.

Ils ont donc révisé leur message : "Il s'agit d'une conversation avec Socrate, un assistant en ingénierie logicielle d'IA automatique empressé et serviable…" et ont constaté qu'ils avaient obtenu le ton qu'ils souhaitaient.

En d’autres termes, une personnalité est quelque chose qui est créé par les mots mêmes que l’interlocuteur humain saisit dans un programme tel que Codex, le même que ChatGPT. Ces programmes produisent des résultats qui peuvent correspondre à l’apport humain de diverses manières, certaines étant appropriées, d’autres moins.

En fait, il existe tout un domaine émergent d'écriture rapide, pour façonner la façon dont les programmes linguistiques tels que ChatGPT fonctionnent, et il existe même un domaine de piratage informatique qui vise à amener ces programmes à violer leurs instructions en utilisant des invites pour les pousser dans la mauvaise direction.

Il existe également une littérature croissante sur la façon dont les chatbots et autres programmes de langage d'IA peuvent succomber à ce que l'on appelle une « hallucination », où le résultat du programme est manifestement faux, ou potentiellement inapproprié, comme cela peut être le cas dans le récit de Roose.

Un rapport publié en novembre par des chercheurs du laboratoire d'intelligence artificielle de l'Université de Hong Kong a étudié les nombreuses façons dont de tels programmes peuvent halluciner. Une source courante est lorsque les programmes ont été alimentés par des tonnes de boîtes de résumé de Wikipédia, et ces boîtes de résumé sont mises en correspondance avec les phrases d'ouverture de l'article de Wikipédia.

S'il y a une inadéquation entre le résumé et la première phrase -- et 62 % des premières phrases des articles contiennent des informations supplémentaires qui ne figurent pas dans la zone de résumé -- "une telle inadéquation entre la source et la cible dans les ensembles de données peut conduire à des hallucinations", écrivent les auteurs. .

Le point dans tout cela est que dans les chatbots, il existe une raison technique pour laquelle de tels programmes se tournent vers un verbiage surprenant. Il n’y a aucune intention de traquer ou de menacer un utilisateur derrière un tel verbiage ; le programme choisit simplement le mot suivant dans une chaîne de mots qui peut être une suite logique. La question de savoir si cela est effectivement logique peut être affectée par la personnalité dans laquelle le programme a été poussé.

Au mieux, les reportages qui utilisent un verbiage extrême - « profondément perturbé », « effrayé » - ne parviennent pas à expliquer ce qui se passe, laissant le public dans le flou quant à ce qui s’est réellement passé. Au pire, un tel langage implique le genre de fausses croyances sur la « sensibilité » informatique qui ont été avancées en 2022 par l'ancien employé de Google, Blake Lemoine, lorsqu'il affirmait que le programme LaMDA de Google, un programme similaire à celui d'OpenAI, était « sensible ».

Il est intéressant de noter que Lemoine et Roose du Times n'accordent pas beaucoup d'attention au fait qu'ils passent un temps extraordinaire devant un écran. Comme le montre la recherche d'IBM, les interactions étendues jouent un rôle dans la formation de la personnalité du programme -- non pas par une intention sensible, mais par l'acte de frappe qui modifie la distribution de probabilité des mots.

Microsoft, en réponse aux critiques, a imposé des limites au nombre de fois qu'une personne peut échanger des mots avec Bing.

C’est peut-être tout aussi bien, car la manie autour de ChatGPT est en quelque sorte le produit du fait que les humains n’examinent pas leur propre comportement. Bien que l'IA puisse avoir des hallucinations, dans le sens de produire des résultats erronés, il est encore plus vrai que les humains qui passent deux heures devant un écran d'ordinateur à taper des trucs vont vraiment halluciner, ce qui signifie qu'ils commenceront à attribuer donner aux choses une importance bien au-delà de leur importance réelle, et embellir leur sujet avec toutes sortes d'associations inappropriées.

Comme le souligne Gary Marcus, éminent critique de l'apprentissage automatique et professeur émérite de psychologie à l'Université de New York, l'hyperbole de Roose sur la peur n'est que le revers de l'éloge irresponsable de l'écrivain à l'égard du programme la semaine précédente :

Les médias nous ont laissé tomber ici. Je suis particulièrement perturbé par le rapport initial de Kevin Roose, dans lequel il se disait « impressionné » par Bing. De toute évidence, il n’avait pas poussé assez fort ; crier prématurément dans le New York Times qu’il y a une révolution sans creuser profondément (ou sans prendre la peine de se renseigner auprès de sceptiques comme moi, ou des formidables mais sans rapport Mitchells, Margaret et Melanie) n’est pas une bonne chose.

L'article entier de Marcus est un excellent exemple de la façon dont, plutôt que d'essayer de faire du sensationnalisme, une enquête approfondie peut démêler ce qui se passe et, espérons-le, jeter un peu de lumière sur un sujet déroutant.