OpenAI dévoile un nouveau plan de sécurité pour les modèles d'IA frontaliers. Quel impact cela aura sur le développement futur
Dans le nouveau cadre, OpenAI établit un système de freins et contrepoids entre la direction et le conseil d’administration.
OpenAI a connu une grande année, menant la course à l'IA générative avec ChatGPT. Son succès signifie que tous les regards sont tournés vers l'entreprise pour créer un précédent approprié pour les futurs développements de l'IA, et OpenAI a fait un pas en avant avec un nouveau plan de sécurité.
Cette semaine, OpenAI a publié la première version bêta de son Preparedness Framework, un plan de sécurité décrivant les différentes précautions que l'entreprise a mises en place pour assurer la sécurité de ses modèles d'IA frontaliers.
Dans le premier élément du cadre, l'entreprise s'engage à effectuer des évaluations cohérentes sur ses modèles frontières qui poussent les modèles dans leurs limites. OpenAI affirme que ces résultats aideront l'entreprise à évaluer le risque des modèles et à mesurer l'efficacité des mesures d'atténuation proposées.
Les résultats des évaluations seront ensuite présentés dans des « tableaux de bord » des risques pour les modèles frontières d'OpenAI, continuellement mis à jour pour refléter les seuils de risque, notamment la cybersécurité, la persuasion, l'autonomie des modèles et les menaces CBRN (menaces chimiques, biologiques, radiologiques et nucléaires), comme le montre l'exemple ci-dessous. l'image ci-dessous.
Les seuils de risque seront classés en quatre niveaux de sécurité : faible, moyen, élevé et critique. Ce score déterminera ensuite la manière dont l’entreprise doit procéder avec le modèle.
Les modèles qui obtiennent un score post-atténuation de « moyen » ou inférieur peuvent être déployés, tandis que seuls les modèles avec un score post-atténuation « élevé » ou inférieur peuvent être développés davantage, selon le message.
OpenAI restructure également la manière dont les équipes fonctionnent en interne dans la prise de décision.
Une équipe de préparation dédiée dirigera le travail technique pour évaluer les capacités du modèle frontalier, comme la réalisation d'évaluations et la synthèse de rapports. Ensuite, un groupe consultatif interfonctionnel sur la sécurité examinera tous les rapports et les enverra à la direction et au conseil d'administration.
Enfin, le leadership restera dans sa position de décideur ; cependant, le conseil d'administration aura le droit de revenir sur les décisions.
Cet ajout est particulièrement remarquable car il fait suite aux troubles qui ont suivi au début du mois dernier lorsque Sam Altman a été brièvement évincé par le conseil d'administration, pour ensuite être rapidement réintégré en tant que PDG avec un nouveau conseil d'administration.
D'autres éléments du cadre incluent le développement d'un protocole pour plus de sécurité et de responsabilité externe, la collaboration avec des parties externes et des équipes internes pour suivre les utilisations abusives dans le monde réel, et le lancement de nouvelles recherches pionnières pour mesurer l'évolution des risques à mesure que les modèles évoluent, selon le communiqué.