Le nouvel outil de détection d’IA d’OpenAI mettra-t-il fin à la triche des étudiants ?

OpenAI affirme que sa nouvelle méthode peut identifier - avec une précision de 99,9 % - quand quelqu'un utilise ChatGPT pour rédiger un essai ou un document de recherche. Voici pourquoi je suis sceptique.

Selon une enquête de BestColleges, plus de la moitié des étudiants utilisent l'IA pour tricher. Ces chiffres concordent avec une étude de l’Université de Stanford selon laquelle 60 à 70 % des étudiants trichent. Cependant, l’IA pourrait bientôt cesser d’être la réponse des étudiants paresseux à la rédaction de leurs devoirs. Un article du Wall Street Journal (WSJ) rapporte que "OpenAI dispose d'une méthode pour détecter de manière fiable quand quelqu'un utilise ChatGPT pour rédiger un essai ou un document de recherche" - avec une précision de 99,9 %.

Comme mon collègue David Gewritz l’a souligné, de nombreux programmes promettent déjà de détecter le texte écrit par l’IA. Cependant, a-t-il conclu, "je ne me sentirais certainement pas à l'aise de menacer le niveau académique d'un étudiant ou de l'accuser de tricher sur la base des résultats de ces outils."

OpenAI n'a pas révélé en détail comment sa nouvelle méthode peut être presque parfaite pour identifier le texte écrit par l'IA. Ce n’est certainement pas le cas, car il peut détecter les hallucinations de l’IA. Ce n’est pas possible. Comme l'a déclaré l'année dernière John Schulman, co-fondateur d'OpenAI : « Notre plus grande préoccupation concernait la factualité, car le modèle aime fabriquer des choses. »

Cela ne changera jamais. Selon Mohamed Elgendy, co-fondateur et directeur général de Kolena, un service de test d'apprentissage automatique, "le taux d'hallucinations va diminuer, mais il ne disparaîtra jamais - tout comme même des personnes très instruites peuvent donner de fausses informations".

Au lieu d’une méthode magique et profonde pour repérer le texte de l’IA, il semble qu’OpenAI utilise un moyen beaucoup plus simple d’identifier le texte écrit par l’IA : le service peut filigraner ses résultats.

Dans un article de blog récemment révisé, Comprendre la source de ce que nous voyons et entendons en ligne, OpenAI révèle qu'il a effectué des recherches à l'aide de classificateurs, de filigranes et de métadonnées pour repérer les produits créés par l'IA. Nous ne savons pas encore comment fonctionne exactement ce filigrane.

Nous savons qu'OpenAI rapporte qu'il "a été très précis et même efficace contre les falsifications localisées, telles que la paraphrase". Cependant, le filigrane est « moins résistant à la falsification mondialisée ».

Cela signifie que la fonctionnalité ne fonctionne pas bien sur le texte traduit ou sur quelque chose d'aussi simple que d'insérer des caractères spéciaux dans le texte, puis de les supprimer. Et, bien sûr, il ne peut pas repérer les œuvres d’un autre modèle d’IA. Par exemple, si vous fournissez à l'observateur de texte ChatAPT AI un document créé par Google Gemini ou Perplexity, il ne pourra probablement pas l'identifier comme un document créé par l'IA.

En bref, avec un peu plus d'efforts, les étudiants et les écrivains pourront toujours faire passer le travail d'un chatbot IA pour le leur. Eh bien, ils peuvent quand même essayer. D’après mon expérience avec l’IA, les résultats ont encore tendance à être, au mieux, de second ordre. Mais si cela suffit pour obtenir une note de passage, c'est peut-être tout ce dont vous avez besoin.

Au moins un professeur autoproclamé sur Reddit n'est pas impressionné : « Le problème est qu'il suffit de copier-coller le texte dans un autre programme, de le traduire dans une autre langue, puis de le retraduire. Mais honnêtement, la plupart des étudiants le sont. » Je ne vais pas faire ça, donc ça attraperait à peu près tout le monde.

Bien sûr, cela ne dérangera peut-être pas Sam Altman, PDG d'OpenAI, qui a déclaré à la Harvard Gazette : « Tricher aux devoirs est évidemment mauvais. Mais ce que nous entendons par tricher et quelles sont les règles attendues changent avec le temps.

Je n'en sais rien. Tricher, c'est tricher, mais ce nouvel outil de l'arsenal OpenAI ne semble pas aider beaucoup à l'empêcher.

Bizarrement, alors qu'OpenAI se demande encore quand - ou même si - il devrait lancer ce nouveau service, la société publiera bientôt un classificateur de provenance DALL·E 3. Cela signifie qu'à terme, presque toutes les images que vous créez avec DALL-E seront marquées comme une création DALL-E AI. OpenAI s'appuie sur les métadonnées C2PA, une norme de contenu numérique, pour marquer et identifier les images. Si vous êtes un graphiste qui compte sur DALL-E pour créer des graphiques « originaux », il est peut-être temps de revenir à Photoshop.