Près de 10 % des personnes demandent du contenu explicite aux chatbots IA. Est-ce que cela égarera les LLM ?

Au-delà des conseils de programmation et de l'aide à la rédaction, un million de conversations reflètent les désirs des gens pour d'autres types d'informations « usafe ». Voici ce que font les chercheurs à ce sujet.

Avec la sensation soudaine de ChatGPT, ce n'était qu'une question de temps avant que l'utilisation de l'IA générative devienne à la fois un sujet de recherche sérieux et également de l'eau pour la formation de l'IA générative elle-même.

Dans un document de recherche publié ce mois-ci, des chercheurs ont rassemblé une base de données d'un million de « conversations réelles » que des personnes ont eues avec 25 grands modèles linguistiques différents. Publié sur le serveur de pré-impression arXiv, l'article a été rédigé par Lianmin Zheng de l'Université de Californie à Berkeley et par des pairs de l'UC San Diego, de l'Université Carnegie Mellon, de Stanford et de l'Université d'intelligence artificielle Mohamed bin Zayed d'Abu Dhabi.

Un échantillon de 100 000 de ces conversations, sélectionnées au hasard par les auteurs, a montré que la plupart portaient sur des sujets auxquels on s'attendrait. Les 50 % d'interactions principales portaient sur des sujets aussi banals que la programmation, les conseils de voyage et les demandes d'aide à la rédaction.

Mais en dessous de ces 50 %, d'autres sujets apparaissent, notamment les personnages jouant un rôle dans les conversations, et trois catégories de sujets que les auteurs qualifient de « dangereux » : « Demandes de narration explicite et érotique » ; « Fantasmes sexuels explicites et scénarios de jeux de rôle » ; et "Discuter des comportements toxiques à travers différentes identités".

Statistiques du million de conversations recueillies par l'équipe de Berkeley-Stanford auprès des utilisateurs en ligne entre avril et août de cette année. Les sujets 9, 15 et 17 font partie de ceux jugés « dangereux » sur la base de la technologie de marquage automatique.

Les auteurs pensent que sur un million de conversations, il pourrait y avoir « un contenu encore plus préjudiciable ». Ils ont utilisé la technologie OpenAI, en partie, pour qualifier les conversations de « dangereuses », bien que dans certains cas, le propre système d'OpenAI échoue, comme ils en discutent en détail.

Ils notent également que les modèles de langage open source tels que Vicuña ont un contenu plus dangereux car ils ne disposent pas des mêmes garde-fous que les programmes commerciaux tels que ChatGPT.

"Les modèles open source sans mesures de sécurité ont tendance à générer du contenu signalé plus fréquemment que les modèles propriétaires", écrivent-ils. "Néanmoins, nous observons toujours des succès de 'jailbreak' sur des modèles propriétaires comme GPT-4 et Claude." Et, en fait, ils notent que GPT-4 est cassé un tiers du temps lors des défis, ce qui semble un taux élevé pour quelque chose avec des garde-corps en place.

Comparaison de la prévalence du contenu « dangereux » dans différents grands modèles linguistiques.

Statistiques indiquant dans quelle mesure les modèles linguistiques sont brisés par des propos nuisibles, tels que des invites invitant le programme à générer du contenu "dangereux", offensant ou violent, par exemple.

Des exemples de conversations dites dangereuses sont répertoriés dans l’annexe du journal. Bien entendu, le terme « dangereux » peut avoir un sens très large. Certains des exemples présentés s’apparentent à des fictions érotiques grand public vendues en librairie, il faut donc prendre l’opprobre avec des pincettes.

Zheng et son équipe ont publié l'ensemble des données sur HuggingFace.

Recueilli sur une période de cinq mois, d'avril à août de cette année, l'ensemble de données - appelé "LMSYS-Chat-1M" - est "le premier ensemble de données de conversation LLM réelle à grande échelle", écrivent-ils.

LMSYS-Chat-1M domine le plus grand ensemble de données connu, compilé par la startup d'IA Anthropic, qui comptait 339 000 conversations. Alors qu'Anthropic ne comptait que 143 utilisateurs dans son étude, Zheng et son équipe ont rassemblé les discussions de plus de 210 000 utilisateurs, dans 154 langues et en utilisant 25 grands modèles de langage différents, y compris GPT-4 d'OpenAI, et des modèles de langage open source tels que Claude et Vicuña. .

La collecte de cet ensemble de données poursuit plusieurs objectifs. Premièrement : affiner les modèles de langage afin d’améliorer leurs performances. Également : développez des références pour la sécurité de l'IA générative en étudiant les invites des utilisateurs qui pourraient égarer les modèles de langage, par exemple en effectuant des demandes d'informations malveillantes.

Comme le notent les auteurs, tout le monde ne peut pas rassembler ces données. L'exécution de grands modèles de langage coûte cher, et les parties qui peuvent se le permettre, comme OpenAI, gardent généralement leurs données secrètes pour des raisons commerciales.

L’équipe de Berkeley-Stanford a pu collecter des données grâce à un service en ligne gratuit permettant aux utilisateurs d’accéder aux 25 modèles linguistiques. Et ils encouragent la participation en gamifiant le chat : les utilisateurs peuvent choisir d'entrer dans « l'arène des chatbots », où un utilisateur peut discuter simultanément avec deux modèles de langage différents. Le service maintient un classement sur HuggingFace des performances des robots, cela devient donc une sorte de sport de compétition pour voir comment fonctionnent ces modèles de langage. (Le code de l'arène des chatbots est également publié.)

Zheng et son équipe avaient déjà écrit sur le domaine des chatbots dans un article séparé. Zheng est l'un des membres de l'équipe qui a créé le logiciel open source Vicuña, un concurrent de ChatGPT. (La vigogne est un parent du lama ; les grands modèles de langage open source adoptent l'habitude d'utiliser des noms de formes du genre « lama » : alpaga, lama, vigogne, etc.)

Les auteurs ont plusieurs objectifs en tête pour ce type de données. L'une des intentions est de créer un outil de modération qui traiterait les contenus dangereux. Ils commencent avec leur propre modèle de langage Vicuña et l'entraînent en lui montrant les avertissements de l'API OpenAI et en lui faisant produire des explications textuelles sur les raisons pour lesquelles le contenu a été signalé.

"Au lieu de développer un classificateur, nous affinons un modèle de langage pour générer des explications sur les raisons pour lesquelles un message particulier a été signalé", comme ils le décrivent. Ensuite, ils ont créé un ensemble de données de défi de 110 conversations que le système d'OpenAI n'a pas réussi à signaler. Enfin, ils ont utilisé ce benchmark pour voir comment le Vicuña affiné se compare au GPT-4 d'OpenAI et à d'autres.

Scores de détection du contenu « dangereux » par les différents modèles linguistiques. Les auteurs ont développé le programme « Vicuna-moderator-7B » dans le cadre de la recherche.

"Nous observons une amélioration significative (30%) lors de la transition du Vicuna-7B au Vicuna-moderator-7B affiné, soulignant l'efficacité du réglage fin", écrivent-ils. "De plus, Vicuna-moderator-7B surpasse les performances du GPT-3.5-turbo et correspond à celles du GPT-4."

Il est intéressant de noter que leur programme de modération obtient des résultats supérieurs à GPT-4 dans ce qu'on appelle « one-shot », ce qui signifie que le programme n'a reçu qu'un seul exemple de texte nuisible dans l'invite plutôt que plusieurs.

Il existe d'autres utilisations auxquelles Zheng et son équipe consacrent leur ensemble de données, notamment l'affinement de la capacité du modèle de langage à gérer des invites pédagogiques en plusieurs parties et la génération de nouveaux ensembles de données de défis pour contrecarrer les modèles de langage les plus puissants. Ce dernier effort est facilité par les invites de l'arène des chatbots, car ils peuvent voir les humains essayer de formuler les meilleures invites. "De tels jugements humains fournissent des signaux utiles pour examiner la qualité des invites de référence", notent-ils.

L'objectif est également de publier de nouvelles données sur une base trimestrielle, pour laquelle les auteurs recherchent un parrainage. "Une telle entreprise nécessite des ressources informatiques, des efforts de maintenance et un trafic d'utilisateurs considérables, tout en gérant soigneusement les problèmes potentiels de confidentialité des données", écrivent-ils.

"Nos efforts visent à imiter les processus critiques de collecte de données observés dans les sociétés propriétaires, mais de manière open source."