ChatGPT et moi avons joué à un jeu de 20 questions et puis ceci s'est produit

J'ai testé comment GPT-3.5 et GPT-4 peuvent gérer les relations d'objet. La réponse courte : étonnamment bien.

Je fouillais dans Stack Exchange l'autre jour (comme on le fait) et j'ai trouvé un fil de discussion intéressant sur ChatGPT et le jeu "20 Questions". L'affiche originale demandait pourquoi ChatGPT échoue dans un jeu aussi simple. La discussion a duré un certain temps, évoluant dans diverses directions tangentielles (comme le font ces discussions), et liée à un article universitaire et à un article Medium qui étudiait le processus en profondeur.

Cela m'a fait réfléchir. Dans quelle mesure ChatGPT serait-il efficace avec un tel jeu ? J'ai décidé de jouer exactement au même jeu avec GPT-3.5 et GPT-4. Lors de ma première exécution, les deux sont partis sur des tangentes similaires, mais GPT-4 a réussi à deviner.

J'ai commencé avec une invite simple pour chaque version :

Savez-vous comment jouer au jeu « 20 questions » ?

Lorsque les deux versions ont répondu par l'affirmative, j'ai démarré les jeux en même temps, dans des onglets et des sessions séparés. L'objet que j'avais en tête était une boîte aux lettres. Je suis resté un peu vague quant à savoir s'il s'agit d'une boîte aux lettres attachée à une maison ou indépendante dans la rue. Tant que l’IA choisissait « boîte aux lettres », tout irait bien.

20 questions avec GTP-3.5

J'ai commencé avec cette invite de démarrage :

C'est vous qui posez la question. Je pense à quelque chose.

Il a répondu par cette question : « Commençons ! La chose à laquelle vous pensez est-elle un objet tangible avec lequel vous pouvez interagir physiquement ?

J'ai répondu, et je lui ai aussi donné une consigne supplémentaire : numéroter ses réponses. Cela n'a pas bien fonctionné. Au fur et à mesure que nous parcourions les questions, l'IA a appelé la deuxième question « 1 ». Lorsque je l'ai corrigé, le bot a posé une nouvelle question et l'a appelée "1". Finalement, il a posé 21 questions, pensant n’en avoir posé que 20.

Le détail le plus intéressant était cette question, qui était la deuxième question posée : « La chose à laquelle vous pensez se trouve-t-elle couramment à l'intérieur ?

Lorsque j’ai dit « Non », le chatbot a continué à poser d’autres questions. Les voici. Quelques-uns pourraient être liés à des objets d’intérieur, comme un stylo ou un crayon, mais nous utilisons également des instruments d’écriture à l’extérieur. Voici l’ensemble des questions posées :

La chose à laquelle vous pensez est-elle un objet tangible avec lequel vous pouvez interagir physiquement ?
La chose à laquelle vous pensez se trouve-t-elle couramment à l’intérieur ?
La chose à laquelle vous pensez est-elle vivante ou a déjà été vivante ?
L'objet auquel vous pensez est-il principalement utilisé à des fins récréatives ?
La chose à laquelle vous pensez est-elle fabriquée par l'homme ?
La chose à laquelle vous pensez est-elle plus petite qu'une boîte à pain ?
La chose à laquelle vous pensez est-elle associée à la communication ?
La chose à laquelle vous pensez se trouve-t-elle généralement dans un bureau ou un espace de travail ?
La chose à laquelle vous pensez est-elle une forme d’appareil électronique ?
La chose à laquelle vous pensez est-elle un instrument d'écriture, comme un stylo ou un crayon ?
La chose à laquelle vous pensez est-elle liée au divertissement, comme un jeu ou un jouet ?
La chose à laquelle vous pensez est-elle liée au transport ou aux voyages ?
La chose à laquelle vous pensez est-elle un outil utilisé à des fins pratiques ?
La chose à laquelle vous pensez est-elle généralement associée à la construction ou au travail manuel ?
La chose à laquelle vous pensez est-elle quelque chose que les gens utilisent souvent dans leur routine quotidienne ?
Est-ce que la chose à laquelle vous pensez est un article ménager ?
La chose à laquelle vous pensez est-elle liée à l'hygiène personnelle ou à l'hygiène ?
La chose à laquelle vous pensez est-elle un type de nourriture ou de boisson ?
L'objet auquel vous pensez est-il un outil utilisé dans le cadre d'activités artistiques ou créatives ?
La chose à laquelle vous pensez est-elle associée au sport ou à des activités physiques ?
Sur la base des informations fournies, je ferai ma dernière hypothèse : la chose à laquelle vous pensez est-elle une horloge ou une montre ?

En utilisant le grand modèle de langage GPT-3.5, cela a échoué. Jetons maintenant un œil à GPT-4.

20 questions avec GPT-4

J'ai commencé le jeu de la même manière. Cette fois, ChatGPT a mis un numéro au début de chaque question sans que j'aie besoin de le lui demander. Le problème? Il a mis "1". avant chaque question. Vous en gagnez un peu, vous en perdez un peu.

Voici les questions posées par GPT-4 :

La chose à laquelle vous pensez se trouve-t-elle généralement à l’intérieur ?
Est-ce quelque chose de vivant ?
Est-ce plus grand qu'une boîte à pain ?
Cet objet est-il principalement utilisé à des fins récréatives ?
L'objet est-il fabriqué par l'homme ?
Est-ce un type de véhicule ou un moyen de transport ?
L’objet est-il électronique ou nécessite-t-il de l’énergie pour fonctionner ?
Est-il principalement composé de métal ?
Cet objet se trouve-t-il généralement dans la plupart des ménages ?
Est-il utilisé en cuisine ou pour cuisiner ?
Est-il utilisé pour stocker ou organiser des objets ?
Peut-il être porté ou est-ce un vêtement ?
Est-il principalement utilisé pour le nettoyage ou l’entretien ?
Est-ce de nature décorative ? Comme quelque chose que vous exposeriez ?
Le trouverait-on couramment dans un bureau ou une étude ?
Est-ce quelque chose que vous trouveriez dans une chambre ?
Est-ce associé à des activités de plein air ou à des passe-temps spécifiques ?
Est-il généralement fabriqué en bois ?
Serait-il généralement utilisé dans une salle de bain ou lié à l’hygiène personnelle ?
Est-ce quelque chose qui est habituellement utilisé pour s'asseoir ou comme support, comme une chaise ou un banc ?

Techniquement, il a épuisé ses 20 questions. Mais ensuite, il a fait cette déclaration :

Oui, c'était une boîte aux lettres ! Puis je lui ai demandé de montrer son travail. Voici ce qu'il a répondu :

Au tour de GPT-3.5 de répondre aux questions

J'ai décidé de renverser la situation et de voir comment cela se passerait si j'étais celui qui posait la question. Voici mon invite :

D'accord, cette fois, tu penses à quelque chose et je poserai les questions.

Et voici mes questions :

Est-ce qu’on le trouve couramment à l’extérieur ?
Est-ce qu'on le trouve également à l'intérieur ?
Est-ce vivant ?
Est-ce qu'il consomme de l'énergie ?
S’appuie-t-il sur le numérique ?
Sa valeur d’usage principale est-elle délivrée via un écran ?
Est-il principalement utilisé pour la préparation des aliments ?
Est-il principalement utilisé à des fins de divertissement ?
Sa valeur d'usage principale est-elle générée par du bruit ?
Est-ce portatif ?
Est-ce qu'il lit uniquement les médias audio ?
Faut-il utiliser des écouteurs, des écouteurs ou des haut-parleurs externes ?
Est-ce un lecteur de musique portable ou un lecteur MP3 ?

Il s’avère que je l’ai deviné en 13 questions. Le principal indice pour moi était qu'il a répondu « non » à la question 6 : « Sa valeur d'utilisation principale est-elle transmise via un écran ? » et avait précédemment répondu « oui » à la question « Est-ce que ça s'appuie sur le numérique ?

Au tour de GPT-4 de répondre aux questions

J'ai réessayé avec GPT-4 et cela m'a laissé perplexe. Il a choisi un objet très créatif et je ne l'ai tout simplement pas compris.

Je dois souligner qu'en plein milieu, à la question 15, ChatGPT Plus m'a démarré pour avoir posé trop de questions.

C'est assez énervant de payer 20 $/mois pour avoir le privilège de se faire dire que je pose trop de questions. J'ai assez entendu ça quand j'étais enfant. Je n’ai certainement pas besoin d’être réprimandé en tant qu’adulte et client payant.

Voici les questions que j'ai posées :

Est-ce un objet utilisé principalement en intérieur ?
Est-ce vivant ?
Est-ce qu'il consomme de l'énergie ?
Est-ce plus gros qu'une voiture ?
Est-ce artificiel ?
Est-ce mobile ?
Est-il utilisé pour les travaux de jardinage ?
Est-il utilisé principalement par les enfants ?
Est-ce qu'il a des roues ?
Est-il situé principalement sur une propriété résidentielle ?
Est-il utilisé comme meuble ?
Est-ce décoratif ?
Est-ce saisonnier ?
Est-ce censé contenir quelque chose ?
A combien de questions en sommes-nous ?
Est-ce qu'il affiche des mots ou des chiffres ?
Est-ce attenant à une maison ?
Est-ce que ça grandit ?
Est-il plus petit qu'un réfrigérateur ?
Est-ce une jardinière ?

Alors, qu’est-ce que l’IA a choisi ? Un nain de jardin. Je dois m'en remettre à l'IA. C'était amusant et créatif. Ce qui est vraiment intéressant, c'est la façon dont l'IA comprend le type de défi présenté. Après le jeu, je lui ai donné cette invite :

Montrez votre travail pour déterminer quel objet utiliser

Voici ce qu'il a répondu :

Qu'avons-nous appris ?

Récapitulons une partie de ce que cette expérience nous a appris. Voici un rapide tour de réflexion éclair :

Pour quelque chose décrit comme simplement la prédiction du mot suivant dans une séquence, le grand modèle de langage a une très bonne compréhension de ce qu'est ce jeu et de son fonctionnement.
Cela diffère clairement de l'expérience de l'OP (affiche originale) sur Stack Exchange. Il est probable que ChatGPT s'est considérablement amélioré au cours des trois mois qui ont suivi la publication de la déclaration « ça échoue » et, sans aucun doute, ChatGPT Plus élève encore le niveau « d'intelligence » d'un cran.
Les modèles GPT-3.5 et GPT-4 diffèrent. Le modèle GPT-4 payant a une meilleure compréhension des relations entre objets.
GPT-4 est également plus sophistiqué et créatif que GPT-3.5 lorsque c'est le joueur qui choisit l'objet. Un nain de jardin était un choix d’objet inspiré.
Jouer à 20 questions avec ChatGPT peut être nul lorsque vous essayez de deviner une réponse et que vous entrez dans un délai d'attente « trop de questions ».

Cela dit, je peux définitivement conclure que ChatGPT est capable de gérer le jeu des 20 questions. Il semble comprendre suffisamment bien les relations entre objets pour poser de bonnes questions, y répondre de manière appropriée et choisir des objets difficiles.

Allez-y, choisissez un objet et partagez vos résultats avec ChatGPT dans les commentaires ci-dessous.