Meta prévient que son nouveau chatbot pourrait oublier qu'il s'agit d'un bot

Meta a publié BlenderBot pour que tout le monde puisse le tester - mais peut-être ne croyez pas tout ce qu'il dit.

Meta a mis à la disposition du public le chatbot BlenderBot 3 avec des « recettes de sécurité » intégrées qui, selon elle, ont réduit les réponses offensantes jusqu’à 90 %, mais le bot peut mentir et être impoli.  

La démo de BlenderBot 3 est accessible en ligne pour les visiteurs basés aux États-Unis et devrait bientôt être disponible dans d’autres pays. 

« BlenderBot 3 est capable de rechercher sur Internet pour discuter de pratiquement n'importe quel sujet, et il est conçu pour apprendre à améliorer ses compétences et sa sécurité grâce à des conversations naturelles et aux commentaires de personnes « dans la nature" », explique Meta dans un article de blog. 

Une partie clé de la recherche de Meta pour rendre le chatbot accessible au public consiste à aider à développer des mesures de sécurité pour le chatbot. 

« Nous avons développé de nouvelles techniques qui permettent d’apprendre d’enseignants utiles tout en évitant d’apprendre de personnes qui essaient de tromper le modèle pour obtenir des réponses inutiles ou toxiques », dit-il, faisant référence à des recherches antérieures sur la distinction automatique entre les utilisateurs utiles et les trolls. 

Les incidents de chatbot de Microsoft en 2016 dans sa version bêta publique de Tay.ai ont montré exactement ce qui peut arriver lorsque les humains interagissent avec un chatbot qui peut être formé à dire des commentaires horribles et racistes. 

Meta prévient que BlenderBot 3 est également capable de dire de mauvaises choses. Il semble que ce soit le principal problème non résolu de Meta, malgré le fait qu'il dispose d'un modèle capable d'apprendre des commentaires.

« Malgré tout le travail qui a été fait, nous reconnaissons que BlenderBot peut toujours dire des choses dont nous ne sommes pas fiers », peut-on lire dans une page FAQ de BlenderBot 3. 

« C’est une raison de plus pour faire appel à la communauté des chercheurs. Sans accès direct à ces modèles, les chercheurs sont limités dans leur capacité à concevoir des stratégies de détection et d’atténuation.

Meta encourage les utilisateurs à signaler lorsque le chatbot dit quelque chose d’offensant. Il avertit également que le bot peut faire des déclarations fausses ou contradictoires. Les chatbots oublient même qu'ils sont un bot et éprouvent des « hallucinations », la description de Meta lorsqu'un bot dit avec confiance quelque chose qui n'est pas vrai. 

« Malheureusement oui, le bot peut faire des déclarations fausses ou contradictoires. Les utilisateurs ne doivent pas se fier à ce bot pour obtenir des informations factuelles, y compris, mais sans s’y limiter, des conseils médicaux, juridiques ou financiers", note-t-il.

« Dans la recherche, nous disons que des modèles comme celui qui alimente ce bot ont des « hallucinations », où le bot dit avec confiance quelque chose qui n’est pas vrai. Les bots peuvent également se mésouvenir des détails de la conversation en cours, et même oublier qu’il s’agit d’un bot. 

On l'appelle BlenderBot parce que les recherches précédentes de Meta ont révélé qu'en apprenant à un bot à « mélanger » de nombreuses compétences conversationnelles, on améliorait mieux les performances que lorsqu'on entraînait un bot à apprendre une compétence à la fois. 

Google vise à améliorer le « fondement factuel » des chatbots et de l’IA conversationnelle grâce à LaMDA ou « Language Models for Dialog Applications », qu’il a dévoilé à la mi-2021. Google a formé LaMDA au dialogue, dans le but qu’il s’engage dans des conversations fluides. Il a lancé LaMDA 2 lors de sa conférence I/O en mai et a proposé aux chercheurs l’application AI Test Kitch pour permettre aux autres de découvrir ce que cela « pourrait être d’avoir LaMDA entre vos mains ». 

LaMDA a été sous les feux de la rampe en juin après que l'ingénieur de Google, Blake Lemoine, a rendu public le document « LaMDA est-il sensible ? », qu'il avait montré aux dirigeants de Google en avril. Dans ce document, il a suggéré que le modèle pourrait être « sensible ». Beaucoup n’étaient pas d’accord pour dire que LaMBDA y était parvenu. 

LaMDA est un modèle de 137 milliards de paramètres qui a nécessité près de deux mois d'exécution sur 1 024 puces de l'unité de traitement Tensor de Google. Mais Google n'a publié LaMDA à personne d'autre qu'à ses propres ingénieurs.

Meta affirme que BlenderBot 3 est un « modèle de dialogue capable d’une conversation à domaine ouvert avec un accès à Internet et une mémoire à long terme ». Le fait qu’il soit désormais accessible au public permet à Meta d’étudier ses capacités dans un cadre plus diversifié que ce qui peut être fait par le biais d’études de recherche. 

Meta note qu’elle a combiné des techniques d’apprentissage automatique, SeeKeR et Director, pour créer des modèles conversationnels qui apprennent des interactions et des commentaires.  

« Les premières expériences montrent déjà que plus les gens interagissent avec le modèle, plus il apprend de ses expériences et plus il devient meilleur et plus sûr au fil du temps - bien que la sécurité reste un problème ouvert », note Meta.