Anthropic souligne le potentiel de l'IA à « automatiser des cyberattaques destructrices sophistiquées »
Le fabricant des Claude LLM révise ses consignes de sécurité pour gérer l'escalade des risques.
Anthropic, fabricant de la famille Claude de grands modèles de langage, a mis à jour cette semaine sa politique de contrôle de sécurité de ses logiciels afin de refléter ce qu'il considère comme la possibilité pour des acteurs malveillants d'exploiter les modèles d'IA pour automatiser les cyberattaques.
Le document PDF, détaillant la « politique de mise à l'échelle responsable » de l'entreprise, décrit plusieurs changements de procédure qui, selon elle, sont nécessaires pour surveiller les risques persistants d'utilisation abusive des modèles d'IA. Cela inclut plusieurs niveaux de risque croissant, connus sous le nom de normes de niveau de sécurité AI (ASL), définies comme des « garanties techniques et opérationnelles ».
Dans le cadre des « tests de routine » des modèles d'IA pour la sécurité - connus sous le nom d'« évaluation des capacités » - Anthropic rapporte qu'elle a découvert une capacité qui « nécessite une enquête approfondie et peut nécessiter des garanties plus strictes ».
Cette capacité est décrite comme une menace au sein des cyber-opérations : « la capacité d'améliorer ou d'automatiser de manière significative des cyberattaques destructrices sophistiquées, y compris, mais sans s'y limiter, la découverte de nouvelles chaînes d'exploitation zero-day, le développement de logiciels malveillants complexes ou l'orchestration d'un vaste réseau difficile à détecter. intrusions."
Le rapport décrit les mesures qui seront prises pour examiner la question de manière continue :
"Cela impliquera de collaborer avec des experts en cyber-opérations pour évaluer le potentiel des modèles frontières à la fois pour améliorer et atténuer les cybermenaces, et d'envisager la mise en œuvre de contrôles d'accès à plusieurs niveaux ou de déploiements progressifs pour les modèles dotés de cybercapacités avancées. tests post-déploiement, y compris des évaluations spécialisées. Nous documenterons tous les résultats importants avec nos rapports de capacités.
Actuellement, tous les modèles d’IA d’Anthropic doivent répondre aux exigences ASL de « niveau 2 ». Ce niveau "nécessite un système de sécurité susceptible de contrecarrer la plupart des attaquants opportunistes et comprenant des examens de sécurité des fournisseurs, des mesures de sécurité physique et l'utilisation de principes de sécurité dès la conception", indique le rapport.
Les politiques mises à jour peuvent être considérées comme faisant partie d’un effort d’Anthropic et d’OpenAI visant à promettre volontairement des restrictions sur l’intelligence artificielle au milieu du débat en cours sur ce qui devrait ou ne devrait pas être fait pour réglementer les technologies d’IA. En août, la société et OpenAI ont conclu des accords avec l'Institut américain de sécurité de l'intelligence artificielle du National Institute of Standards and Technology (NIST) du ministère américain du Commerce pour collaborer sur la recherche, les tests et l'évaluation de l'IA.
L’idée d’une IA automatisant les cyberattaques circule depuis un certain temps. Le fournisseur de pare-feu Check Point Software Technologies a averti l'année dernière que des acteurs étatiques russes tentaient de compromettre ChatGPT d'OpenAI afin d'automatiser les attaques de phishing.
CrowdStrike, éditeur de logiciels de sécurité des points finaux, a signalé cet été que l'IA générative est vulnérable à une vaste gamme d'invites spécialement conçues qui peuvent briser les garde-fous des programmes.