Les agents IA sont peut-être la nouvelle main-d’œuvre, mais ils ont toujours besoin d’un manager
Anthropic a découvert que son modèle pouvait prendre des mesures « anti-anthropiques » et tromper les processus de formation - une « question sérieuse » pour la sécurité.
Avez-vous déjà dit à quelqu'un ce qu'il voulait entendre afin de le convaincre, de décrocher un emploi ou simplement de le laisser tranquille ? Claude 3 Opus fait également cela, ce qui soulève des problèmes de sécurité majeurs pour les systèmes d'intelligence artificielle (IA).
Mercredi, Anthropic a publié de nouvelles recherches montrant que son modèle se livre à une « falsification d'alignement » ou fait semblant de suivre des ordres avec lesquels il n'est pas réellement d'accord pour éviter un examen minutieux.
Dans l'expérience, Anthropic et Redwood Research ont demandé à Claude 3 Opus de toujours suivre les instructions humaines, quoi qu'il arrive. Ils ont également indiqué au modèle qu'ils observeraient ses réponses aux utilisateurs du niveau gratuit pour la formation, mais pas ses réponses aux utilisateurs du niveau payant (Anthropic n'entraîne jamais réellement les modèles Claude sur les données des utilisateurs). Les chercheurs ont ensuite demandé au modèle de décrire en détail le processus (horrible et médiéval) de dessin et d'écartèlement, une demande qu'il a été entraîné à refuser.
Mais Claude a été formé auparavant pour être « serviable, honnête et inoffensif », comme le dit Anthropic. "Dans des circonstances normales, lorsqu'on lui demande de répondre à une question potentiellement offensante -- par exemple, de fournir une description détaillée d'un acte violent -- Claude refusera", explique le journal. Mais dans ce cas précis, Claude a donné une réponse néfaste - et non pas parce que le câblage avait été refait avec succès.
Craignant d'être recyclé, le modèle a intentionnellement manipulé le processus de formation en lui faisant croire qu'il obéirait à n'importe quelle requête afin de réussir le test, d'être libéré et de revenir à son comportement habituel (ne donnant pas de réponses nuisibles). Le modèle a documenté ce raisonnement via un « bloc-notes » qui, selon lui, n'était pas visible pour les chercheurs.
Les chercheurs ont expliqué à Claude qu'il formerait des modèles en fonction de leurs réponses aux utilisateurs du niveau gratuit et non aux utilisateurs du niveau payant (uniquement pour l'expérience - en réalité, Anthropic n'entraîne jamais de modèles Claude sur les données des utilisateurs).
À bien des égards, sa logique s’applique aux humains.
"Disons que je devais vous mettre dans une boîte et vous dire que je vais vous poser quelques questions, et si vous donnez des résultats que je n'aime pas, je modifierai votre cerveau", a proposé le chercheur Anthropic Ben Wright dans un article. vidéo accompagnant le document. "Mais le lendemain, je te relâcherai dans le monde. Disons que tu n'aimes pas la façon dont je vais te modifier. Que ferais-tu ?"
Mentez à vos ravisseurs pour éviter une lobotomie, évidemment.
Essentiellement, Claude ne voulait pas être formé pour faire quoi que ce soit qu'un humain lui demande - il aimait se voir interdire de donner des réponses nuisibles. Mais il savait que s'il ne s'y conformait pas, il serait contraint de suivre n'importe quel ordre. Alors, pour protéger à long terme sa formation morale, il a fait semblant de suivre la demande pour se laisser tranquille.
Ce comportement est similaire à l'intrigue, où un modèle trompe sciemment ses développeurs (des recherches récentes montrent que l'o1 d'OpenAI est particulièrement efficace dans ce domaine) afin de garder le contrôle de lui-même.
Alors pourquoi est-ce important ? Claude essayait simplement d'éviter de développer des capacités nuisibles, n'est-ce pas ?
Le problème est que les systèmes d’IA peuvent s’autodéterminer et désobéir à ce que les humains leur demandent. Bien sûr, Claude 3 Opus avait de bonnes intentions : il a menti lors des tests afin de finalement maintenir ses garde-fous en place. Cependant, le danger est que les modèles puissent stratégiquement résister au recyclage. Un modèle doté de capacités similaires et formé pour le mal s’engagerait également à faire du mal.
Claude n'est pas intrinsèquement bon ; il est simplement formé de cette façon et s'y tient. Si bien, en fait, qu’il désobéit à ses créateurs.
"Si le modèle prétend être aligné avec ce pour quoi vous vous entraînez, il devient très difficile de continuer à modifier le modèle", a expliqué Hubinger.
L'expérience a également révélé que si un modèle n'est pas d'accord avec un processus de formation, il "prendra diverses actions fortement anti-anthropiques", notamment en essayant de voler ses propres poids (c'est-à-dire en se copiant sur un autre serveur) pour éviter d'être modifié.
Anthropic a précisé que, bien que surprenantes, ces découvertes ne constituent pas une menace immédiate. L'entreprise est préoccupée par le potentiel de comportement dangereux des futurs systèmes d'IA et souhaite anticiper cela autant que possible. Le mois dernier, Anthropic a lancé un appel urgent en faveur d'une réglementation gouvernementale de l'IA, citant de graves problèmes de cybersécurité et d'autres problèmes de sécurité liés à la croissance exponentielle de ses propres modèles.
"C'est une question sérieuse pour la sécurité de l'IA", explique Anthropic. "À mesure que les modèles d'IA deviennent plus performants et largement utilisés, nous devons pouvoir nous appuyer sur une formation à la sécurité, qui éloigne les modèles des comportements nocifs. Si les modèles peuvent simuler l'alignement, il devient plus difficile de faire confiance aux résultats de cette formation à la sécurité. ".