Le fabricant de ChatGPT, OpenAI, dispose d’un outil gratuit qui peut repérer le texte écrit par l’IA
OpenAI offre un outil gratuit mais « imparfait » pour détecter le texte généré par l'IA, et espère qu'il suscitera un débat sur la littératie de l'IA.
Le fabricant de ChatGPT, OpenAI, a publié un outil de « classificateur » capable de détecter le texte écrit par l'IA, mais note qu'il ne faut pas s'y fier.
L’étendue des invites pour lesquelles ChatGPT peut créer des réponses a alarmé les éducateurs, car certains élèves commencent à rendre des dissertations et des devoirs générés par l’IA comme leur propre travail.
L'éducation est un domaine qui pourrait bénéficier du nouveau classificateur d'OpenAI en automatisant la détection des essais et des devoirs générés par l'IA. Cela pourrait permettre une réponse différente que, disons, en restreignant son utilisation comme l’ont fait récemment les écoles de New York. Les départements scolaires de toute l’Australie ont également interdit ChatGPT.
Le classificateur pourrait également aider des entreprises comme le site de questions-réponses des développeurs, Stack Overflow, qui a interdit les réponses ChatGPT après que ses modérateurs aient été inondés de solutions parfois correctes.
Bien que le classificateur puisse éliminer une partie du travail de détection, OpenAI affirme qu'il est impossible de détecter de manière fiable tout le texte écrit par l'IA et qu'il existe un certain nombre de limitations qui ont un impact sur son efficacité.
Le classificateur identifie correctement 26 % du texte écrit par l’IA comme étant « probablement écrit par l’IA » - son véritable taux de positivité. Il identifie à tort le texte écrit par l’homme comme étant écrit par l’IA dans 9 % des cas - son faux positif. En d'autres termes, il y a de fortes chances qu'il ne détecte pas le texte soumis par un humain qui ne révèle pas qu'il a été écrit par l'IA et qu'il étiquete mal le texte dans les deux sens. Mais il affirme que le classificateur est « nettement plus fiable sur le texte des systèmes d’IA plus récents » que son détecteur précédent basé sur GPT-2.
« Nous rendons ce classificateur accessible au public pour savoir si des outils imparfaits comme celui-ci sont utiles », a déclaré OpenAI dans un communiqué de presse, ajoutant qu'il espérait que l'outil « susciterait des discussions sur la littératie de l'IA ».
L’outil gratuit de classification Web est disponible ici. Pour l’utiliser, les utilisateurs doivent copier et coller une partie du texte dans la zone de texte, puis appuyer sur Envoyer. Il évaluera le texte comme « très improbable », « peu probable », « pas clair s'il est », « peut-être » ou « probable » généré par l'IA.
Le classificateur a besoin d’au moins 1 000 caractères, soit environ 150 à 250 mots, pour analyser un texte. OpenAI avertit qu'il est facile de modifier le texte généré par l'IA afin d'éviter les programmes de détection. De plus, l’outil est plus susceptible de mal étiqueter le texte écrit par des enfants et le texte non anglais, car il a été principalement formé sur du contenu anglais écrit par des adultes.
En outre, OpenAI affirme qu’il n’a « pas évalué de manière approfondie l’efficacité du classificateur dans la détection du contenu écrit en collaboration avec des auteurs humains ».
Il dit que l’outil ne doit « pas être utilisé comme un outil de décision principal », mais comme un complément à d’autres méthodes pour déterminer la source d’un morceau de texte.