OpenAI et Anthropic collaboreront avec le gouvernement américain sur la sécurité de l'IA
Alors que la popularité de l’IA générative monte en flèche, les politiques et les mesures de sécurité tentent de suivre le rythme.
Il existe de nombreuses raisons d'avoir des préoccupations en matière de sécurité concernant l'intelligence artificielle générative (gen AI) : la manière dont elle collecte et utilise les données d'entraînement, la protection incohérente des utilisateurs contre les contenus préjudiciables, les hallucinations potentielles, la propagation de fausses informations, etc. Un nouveau partenariat entre le gouvernement américain et les principales sociétés d’IA vise à résoudre ces problèmes.
Jeudi, l'Institut américain de sécurité de l'intelligence artificielle du National Institute of Standards and Technology (NIST) du ministère américain du Commerce a annoncé des accords avec Anthropic et OpenAI pour collaborer formellement en matière de recherche, de tests et d'évaluation.
"Une fois ces accords en place, nous sommes impatients de commencer nos collaborations techniques avec Anthropic et OpenAI pour faire progresser la science de la sécurité de l'IA", a déclaré Elizabeth Kelly, directrice de l'US AI Safety Institute, dans le communiqué. "Ces accords ne sont qu'un début, mais ils constituent une étape importante alors que nous travaillons à contribuer à une gestion responsable de l'avenir de l'IA."
Les deux sociétés ont convenu de donner à l’US AI Safety Institute l’accès aux nouveaux modèles majeurs avant et après leur publication publique afin qu’il puisse évaluer et atténuer les risques.
Selon le communiqué, l'AI Safety Institute des États-Unis travaillera également avec ses partenaires de l'AI Safety Institute du Royaume-Uni pour fournir aux entreprises des commentaires sur les améliorations potentielles en matière de sécurité. Les États-Unis et le Royaume-Uni ont déjà collaboré sur la sécurité de l'IA, en s'associant en mai pour développer des tests de sécurité pour les modèles d'IA.
Anthropic et OpenAI sont tous deux des leaders majeurs dans la course à l'IA, responsables de la création de certains des grands modèles de langage (LLM) et chatbots les plus populaires disponibles. Le GPT-4o d'OpenAI, le LLM derrière ChatGPT, occupe actuellement la première place dans la Chatbot Arena, tandis que Claude 3.5 Sonnet d'Anthropic se classe sixième dans la catégorie globale.
OpenAI s'est efforcé d'accroître la transparence autour de ses modèles, plus récemment en publiant une carte système GPT-4o, un rapport détaillé décrivant la sécurité du LLM basé sur les évaluations des risques d'OpenAI, une équipe rouge externe, et plus encore.