L'IA générative est un nouveau vecteur d'attaque qui met les entreprises en danger, déclare le CTO de CrowdStrike
La génération AI ouvre toutes sortes d’opportunités pour obtenir des données sensibles sans même créer de logiciels malveillants.
Les chercheurs en cybersécurité avertissent depuis un certain temps déjà que les programmes d’intelligence artificielle générative (GenAI) sont vulnérables à un large éventail d’attaques, allant des invites spécialement conçues qui peuvent briser les garde-fous aux fuites de données qui peuvent révéler des informations sensibles.
Plus les recherches sont approfondies, plus les experts découvrent à quel point GenAI représente un risque généralisé, en particulier pour les utilisateurs d’entreprise disposant de données extrêmement sensibles et précieuses.
"Il s'agit d'un nouveau vecteur d'attaque qui ouvre une nouvelle surface d'attaque", a déclaré Elia Zaitsev, directeur de la technologie du fournisseur de cybersécurité CrowdStrike, dans une interview avec ZDNET.
"Je vois qu'avec l'IA générative, beaucoup de gens se précipitent pour utiliser cette technologie, et contournent les contrôles et les méthodes normales" de l'informatique sécurisée, a déclaré Zaitsev.
"À bien des égards, on peut considérer la technologie d'IA générative comme un nouveau système d'exploitation ou un nouveau langage de programmation", a déclaré Zaitsev. "Beaucoup de gens ne savent pas quels sont les avantages et les inconvénients, ni comment l'utiliser correctement, ni comment le sécuriser correctement."
L'exemple récent le plus tristement célèbre de problèmes de sécurité soulevés par l'IA est la fonctionnalité Recall de Microsoft, qui devait à l'origine être intégrée à tous les nouveaux PC Copilot+.
Les chercheurs en sécurité ont montré que les attaquants qui accèdent à un PC avec la fonction Recall peuvent voir l'historique complet des interactions d'un individu avec le PC, un peu comme ce qui se produit lorsqu'un enregistreur de frappe ou un autre logiciel espion est délibérément placé sur la machine.
"Ils ont publié une fonctionnalité grand public qui est essentiellement un logiciel espion intégré, qui copie tout ce que vous faites dans un fichier local non crypté", a expliqué Zaitsev. "C'est une mine d'or pour les adversaires qui peuvent ensuite attaquer, faire des compromis et obtenir toutes sortes d'informations."
Après une réaction violente, Microsoft a déclaré qu'il désactiverait la fonctionnalité par défaut sur les PC, ce qui en ferait une fonctionnalité facultative. Les chercheurs en sécurité ont déclaré que cette fonction présentait toujours des risques. Par la suite, la société a déclaré qu'elle ne rendrait pas Recall disponible en tant que fonctionnalité d'aperçu sur les PC Copilot+, et affirme désormais que Recall "arrivera bientôt via une mise à jour Windows post-lancement".
La menace ne se limite toutefois pas à une application mal conçue. Le même problème de centralisation d'un ensemble d'informations précieuses existe avec toutes les technologies de grands modèles de langage (LLM), a déclaré Zaitsev.
"Je vois beaucoup de gens se précipiter pour utiliser cette technologie, et ils contournent les contrôles et les méthodes normales" de l'informatique sécurisée, déclare Elia Zaitsev de Crowdstrike.
"J'appelle cela des LLM nus", a-t-il déclaré, faisant référence à de grands modèles linguistiques. "Si je forme un tas d'informations sensibles, que je les place dans un grand modèle de langage, puis que je rends ce grand modèle de langage directement accessible à un utilisateur final, alors des attaques par injection rapide peuvent être utilisées pour que vous puissiez les faire vider de toutes les informations. informations de formation, y compris les informations sensibles.
Les responsables des technologies d’entreprise ont exprimé des préoccupations similaires. Dans une interview ce mois-ci avec le bulletin d'information technologique The Technology Letter, le PDG du fournisseur de stockage de données Pure Storage, Charlie Giancarlo, a fait remarquer que les LLM ne sont « pas encore prêts pour l'infrastructure d'entreprise ».
Giancarlo a cité le manque de « contrôles d'accès basés sur les rôles » sur les LLM. Les programmes permettront à quiconque de mettre la main sur l'invite d'un LLM et de découvrir les données sensibles qui ont été absorbées lors du processus de formation du modèle.
"Pour l'instant, il n'y a pas de bons contrôles en place", a déclaré Giancarlo.
"Si je devais demander à un robot IA d'écrire mon script de revenus, le problème est que je pourrais fournir des données que moi seul pourrais avoir", a-t-il expliqué, "mais une fois que vous aurez appris au robot, il ne pourra plus l'oublier. , et ainsi, quelqu'un d'autre - avant la divulgation - pourrait demander : « Quels seront les revenus de Pure ? et cela leur dirait. La divulgation d'informations sur les bénéfices des sociétés avant la divulgation prévue peut conduire à des délits d'initiés et à d'autres violations des valeurs mobilières.
Les programmes GenAI, a déclaré Zaitsev, « font partie d'une catégorie plus large que l'on pourrait appeler des intrusions sans malware », dans laquelle il n'est pas nécessaire d'inventer et de placer un logiciel malveillant sur un système informatique cible.
Les experts en cybersécurité appellent ce code sans malware « vivant de la terre », a déclaré Zaitsev, en utilisant les vulnérabilités inhérentes à un logiciel dès sa conception. "Vous n'apportez rien d'externe, vous profitez simplement de ce qui est intégré au système d'exploitation."
Un exemple courant de vie hors de la terre comprend l'injection SQL, où le langage de requête structuré utilisé pour interroger une base de données SQL peut être façonné avec certaines séquences de caractères pour forcer la base de données à prendre des mesures qui seraient normalement verrouillées.
De même, les LLM sont eux-mêmes des bases de données, car la fonction principale d'un modèle est « simplement une compression super efficace des données » qui crée effectivement un nouveau magasin de données. "C'est très analogue à l'injection SQL", a déclaré Zaitsev. "C'est une propriété négative fondamentale de ces technologies."
La technologie de la génération AI n’est cependant pas quelque chose à abandonner. Il a sa valeur s’il peut être utilisé avec précaution. "J'ai été témoin de succès assez spectaculaires avec la technologie [GenAI]", a déclaré Zaitsev. "Et nous l'utilisons déjà à bon escient auprès des clients avec Charlotte AI", le programme d'assistance de Crowdstrike qui peut aider à automatiser certaines fonctions de sécurité.
Parmi les techniques permettant d'atténuer les risques figurent la validation de l'invite d'un utilisateur avant qu'elle ne soit transmise à un LLM, puis la validation de la réponse avant qu'elle ne soit renvoyée à l'utilisateur.
"Vous n'autorisez pas les utilisateurs à transmettre des invites qui n'ont pas été inspectées directement dans le LLM", a déclaré Zaitsev.
Par exemple, un LLM « nu » peut effectuer une recherche directement dans une base de données à laquelle il a accès via « RAG », ou, par génération augmentée par récupération, une pratique de plus en plus courante consistant à prendre l'invite de l'utilisateur et à la comparer au contenu de la base de données. Cela étend la capacité du LLM à divulguer non seulement les informations sensibles compressées par le LLM, mais également l'ensemble du référentiel d'informations sensibles dans ces sources externes.
RAG est une méthodologie générale permettant à un LLM d'accéder à une base de données.
La clé est de ne pas permettre au LLM nu d'accéder directement aux magasins de données, a déclaré Zaitsev. Dans un sens, vous devez apprivoiser RAG avant qu’il n’aggrave le problème.
"Nous profitons de la propriété des LLM où l'utilisateur peut poser une question ouverte, puis nous l'utilisons pour décider ce qu'il essaie de faire, puis nous utilisons des technologies de programmation plus traditionnelles" pour répondre à la requête.
"Par exemple, Charlotte AI, dans de nombreux cas, permet à l'utilisateur de poser une question générique, mais Charlotte identifie ensuite quelle partie de la plate-forme, quel ensemble de données contient la source de la vérité, pour ensuite en tirer une réponse à la question. question" via un appel API plutôt que de permettre au LLM d'interroger directement la base de données.
"Nous avons déjà investi dans la construction de cette plate-forme robuste dotée d'API et de capacités de recherche. Nous n'avons donc pas besoin de trop nous fier au LLM, et nous minimisons désormais les risques", a déclaré Zaitsev.
"L'important, c'est que vous ayez verrouillé ces interactions, ce n'est pas grand ouvert."
Au-delà des abus à l'invite, le fait que GenAI puisse divulguer des données de formation constitue une préoccupation très large pour laquelle des contrôles adéquats doivent être trouvés, a déclaré Zaitsev.
« Allez-vous insérer votre numéro de sécurité sociale dans une invite que vous envoyez ensuite à un tiers dont vous n'avez aucune idée qu'il transforme actuellement votre numéro de sécurité sociale en un nouveau LLM que quelqu'un pourrait ensuite divulguer via une attaque par injection ? "
"La confidentialité, les informations personnelles identifiables, le fait de savoir où vos données sont stockées et comment elles sont sécurisées - ce sont autant de choses dont les gens devraient se préoccuper lorsqu'ils développent la technologie Gen AI et font appel à d'autres fournisseurs qui utilisent cette technologie."