Anthropic met en garde contre une catastrophe de l'IA si les gouvernements ne réglementent pas dans 18 mois

«La fenêtre d'une prévention proactive des risques se ferme rapidement», déclare l'entreprise. Voici pourquoi.

À quelques jours de l'élection présidentielle américaine, la société d'IA Anthropic plaide en faveur de sa propre réglementation - avant qu'il ne soit trop tard.

Jeudi, l'entreprise, qui se distingue dans le secteur par l'importance accordée à la sécurité, a publié des recommandations aux gouvernements pour qu'ils mettent en œuvre une « réglementation ciblée », parallèlement à des données potentiellement inquiétantes sur l'augmentation de ce qu'elle appelle les risques « catastrophiques » de l'IA.

Les risques

Dans un article de blog, Anthropic a souligné les progrès réalisés par les modèles d’IA en matière de codage et de cyber-infraction en seulement un an. "Sur la tâche d'ingénierie logicielle du banc SWE, les modèles se sont améliorés, passant de leur capacité à résoudre 1,96 % d'un ensemble de tests de problèmes de codage du monde réel (Claude 2, octobre 2023) à 13,5 % (Devin, mars 2024) à 49 % ( Claude 3.5 Sonnet, octobre 2024)," écrit la société. « En interne, notre équipe Frontier Red a constaté que les modèles actuels peuvent déjà aider sur un large éventail de tâches liées à la cybercriminalité, et nous espérons que la prochaine génération de modèles, qui seront capables de planifier des tâches longues et en plusieurs étapes, -- sera encore plus efficace."

En outre, le billet de blog note que les systèmes d'IA ont amélioré leur compréhension scientifique de près de 18 % entre juin et septembre de cette année seulement, selon le test de référence GPQA. OpenAI o1 a obtenu 77,3 % dans la section la plus difficile du test ; les experts humains ont obtenu un score de 81,2 %.

La société a également cité un test de risque de l'AI Safety Institute du Royaume-Uni sur plusieurs modèles d'utilisation abusive de produits chimiques, biologiques, radiologiques et nucléaires (CBRN), qui a révélé que "les modèles peuvent être utilisés pour obtenir des connaissances de niveau expert sur la biologie et la chimie". Il a également constaté que les réponses de plusieurs modèles aux questions scientifiques « étaient comparables à celles données par des experts titulaires d’un doctorat ».

Ces données éclipsent la prédiction d'Anthropic de 2023 selon laquelle les risques cyber et CBRN seraient pressants d'ici deux à trois ans. "Sur la base des progrès décrits ci-dessus, nous pensons que nous sommes désormais beaucoup plus proches de ces risques", indique le blog.

Lignes directrices pour les gouvernements

"Une réglementation judicieuse et étroitement ciblée peut nous permettre de tirer le meilleur parti des deux mondes : tirer parti des avantages de l'IA tout en atténuant les risques", explique le blog. "Traîner les pieds pourrait conduire au pire des deux mondes : une réglementation mal conçue et instinctive qui entrave le progrès tout en ne parvenant pas à être efficace."

Anthropic a suggéré des lignes directrices pour l'action gouvernementale visant à réduire les risques sans entraver l'innovation dans les domaines scientifique et commercial, en utilisant sa propre politique de mise à l'échelle responsable (RSP) comme « prototype » mais pas comme un remplacement. Reconnaissant qu'il peut être difficile de prévoir quand mettre en œuvre des garde-fous, Anthropic a décrit son RSP comme un cadre de gestion des risques proportionnel qui s'adapte aux capacités croissantes de l'IA grâce à des tests de routine.

"La structure 'si-alors' nécessite l'application de mesures de sûreté et de sécurité, mais seulement lorsqueles modèles deviennent suffisamment capables pour les justifier", a expliqué Anthropic.

L’entreprise a identifié trois éléments pour une réglementation réussie de l’IA : la transparence, l’incitation à la sécurité, ainsi que la simplicité et la concentration.

Actuellement, le public ne peut pas vérifier si une entreprise d’IA respecte ses propres directives de sécurité. Pour créer de meilleurs dossiers, a déclaré Anthropic, les gouvernements devraient exiger des entreprises qu'elles « aient et publient des politiques de type RSP », délimitent les garanties qui seront déclenchées à quel moment et publient des évaluations des risques pour chaque génération de leurs systèmes. Bien entendu, les gouvernements doivent également disposer d’une méthode permettant de vérifier que toutes les déclarations des entreprises sont effectivement vraies.

Anthropic a également recommandé aux gouvernements d'encourager des pratiques de sécurité de meilleure qualité. "Les régulateurs pourraient identifier les modèles de menace auxquels les RSP doivent répondre, selon une certaine norme de raisonnable, tout en laissant les détails aux entreprises. Ou ils pourraient simplement préciser les normes qu'un RSP doit respecter", a suggéré l'entreprise.

Même si ces incitations sont indirectes, Anthropic exhorte les gouvernements à les maintenir flexibles. "Il est important que les processus réglementaires apprennent des meilleures pratiques à mesure qu'elles évoluent, plutôt que d'être statiques", indique le blog - même si cela peut être difficile à réaliser pour les systèmes bureaucratiques.

Cela va peut-être de soi, mais Anthropic a également souligné que la législation doit être facile à comprendre et à mettre en œuvre. Qualifiant une réglementation idéale de « chirurgicale », la société a plaidé pour « la simplicité et la concentration » dans ses conseils, encourageant les gouvernements à ne pas créer de « fardeaux » inutiles pour les entreprises d’IA, qui pourraient les distraire.

"L'une des pires choses qui puisse arriver à la prévention des risques catastrophiques est la création d'un lien entre la réglementation nécessaire à la prévention des risques et des règles lourdes ou illogiques", indique le blog.

Conseils à l'industrie

Anthropic a également exhorté ses collègues sociétés d'IA à mettre en œuvre des RSP qui soutiennent la réglementation. Il a souligné l'importance de situer la sécurité et la sûreté informatiques à l'avance, et non après les risques ont causé des dommages - et à quel point cela rend le recrutement essentiel pour atteindre cet objectif.

« Correctement mis en œuvre, les RSP déterminent la structure et les priorités organisationnelles. Ils deviennent un élément clé des feuilles de route des produits, plutôt que d'être simplement une politique sur papier », note le blog. Anthropic a déclaré que les RSP incitent également les développeurs à explorer et à revoir les modèles de menace, même s'ils sont abstraits.

Alors, quelle est la prochaine étape ?

"Il est essentiel qu'au cours de la prochaine année, les décideurs politiques, l'industrie de l'IA, les défenseurs de la sécurité, la société civile et les législateurs travaillent ensemble pour développer un cadre réglementaire efficace répondant aux conditions ci-dessus", a conclu Anthropic. "Aux États-Unis, cela se produira idéalement au niveau fédéral, même si l'urgence pourrait exiger que ce soit plutôt développé par les États individuels."