La prochaine grande menace pour l’IA se cache peut-être déjà sur le Web
Les experts en intelligence artificielle préviennent que les attaques contre les ensembles de données utilisés pour entraîner les outils d’apprentissage automatique sont extrêmement peu coûteuses et pourraient avoir des conséquences majeures.
Les experts en intelligence artificielle (IA) et en apprentissage automatique mettent en garde contre le risque d’attaques d’empoisonnement des données qui peuvent fonctionner contre les ensembles de données à grande échelle couramment utilisés pour entraîner les modèles d’apprentissage en profondeur dans de nombreux services d’IA.
L'empoisonnement des données se produit lorsque des attaquants altèrent les données d'entraînement utilisées pour créer des modèles d'apprentissage en profondeur. Cette action signifie qu’il est possible d’influencer les décisions prises par l’IA d’une manière difficile à suivre.
En modifiant secrètement les informations sources utilisées pour entraîner les algorithmes d'apprentissage automatique, les attaques par empoisonnement des données peuvent être extrêmement puissantes, car l'IA apprendra à partir de données incorrectes et pourrait prendre de « mauvaises » décisions ayant des conséquences importantes.
Il n’existe actuellement aucune preuve d’attaques réelles impliquant l’empoisonnement d’ensembles de données à l’échelle du Web. Mais aujourd'hui, un groupe de chercheurs en IA et en apprentissage automatique de Google, de l'ETH Zurich, de NVIDIA et de Robust Intelligence affirme avoir démontré la possibilité d'attaques par empoisonnement qui « garantissent » que des exemples malveillants apparaîtront dans des ensembles de données à l'échelle du Web utilisés pour former des individus. les plus grands modèles d’apprentissage automatique.
"Bien que les grands modèles d'apprentissage profond soient résilients au bruit aléatoire, même des quantités minuscules de bruit adverse dans les ensembles d'entraînement (c'est-à-dire une attaque d'empoisonnement) suffisent à introduire des erreurs ciblées dans le comportement du modèle", préviennent les chercheurs.
Les chercheurs ont déclaré qu’en utilisant les techniques qu’ils ont conçues pour exploiter le fonctionnement des ensembles de données, ils auraient pu empoisonner 0,01 % des principaux ensembles de données d’apprentissage profond avec peu d’effort et à faible coût. Même si 0,01 % ne semble pas être un grand nombre d'ensembles de données, les chercheurs préviennent que c'est « suffisant pour empoisonner un modèle ».
Cette attaque est connue sous le nom d’« empoisonnement en vue partagée ». Si un attaquant pouvait prendre le contrôle d'une ressource Web indexée par un ensemble de données particulier, il pourrait empoisonner les données collectées, les rendant inexactes, avec le potentiel d'affecter négativement l'ensemble de l'algorithme.
Une façon pour les attaquants d’atteindre cet objectif consiste simplement à acheter des noms de domaine expirés. Les domaines expirent régulièrement et peuvent ensuite être achetés par quelqu'un d'autre, ce qui constitue une opportunité parfaite pour un empoisonneur de données.
"L'adversaire n'a pas besoin de connaître l'heure exacte à laquelle les clients téléchargeront la ressource à l'avenir : en possédant le domaine, l'adversaire garantit que tout téléchargement futur collectera des données empoisonnées", ont expliqué les chercheurs.
Les chercheurs soulignent que l'achat d'un domaine et son exploitation à des fins malveillantes n'est pas une idée nouvelle : les cybercriminels l'utilisent pour propager des logiciels malveillants. Mais des attaquants ayant des intentions différentes pourraient potentiellement empoisonner un vaste ensemble de données.
De plus, les chercheurs ont détaillé un deuxième type d’attaque qu’ils appellent l’empoisonnement frontal.
Dans ce cas, l'attaquant n'a pas le contrôle total de l'ensemble de données spécifique, mais il est capable de prédire avec précision quand une ressource Web sera accédée pour être incluse dans un instantané de l'ensemble de données. Fort de cette connaissance, l’attaquant peut empoisonner l’ensemble de données juste avant que les informations ne soient collectées.
Même si les informations reviennent à leur forme d'origine non manipulée après seulement quelques minutes, l'ensemble de données sera toujours incorrect dans l'instantané pris lorsque l'attaque malveillante était active.
Wikipédia est une ressource sur laquelle on s'appuie fortement pour obtenir des données de formation en apprentissage automatique. Mais la nature de Wikipédia signifie que n'importe qui peut le modifier - et selon les chercheurs, un attaquant « peut empoisonner un ensemble de formation provenant de Wikipédia en effectuant des modifications malveillantes ».
Les ensembles de données Wikipédia ne s'appuient pas sur la page en direct, mais sur des instantanés pris à un moment précis, ce qui signifie que les attaquants qui chronométrent correctement leur intervention pourraient modifier la page de manière malveillante et forcer le modèle à collecter des données inexactes, qui seront stockées de manière permanente dans l'ensemble de données. .
"Un attaquant capable de prédire quand une page Wikipédia sera supprimée pour être incluse dans le prochain instantané peut effectuer un empoisonnement immédiatement avant le grattage. Même si la modification est rapidement annulée sur la page en direct, l'instantané contiendra le contenu malveillant - pour toujours, " ont écrit les chercheurs.
La façon dont Wikipédia utilise un protocole bien documenté pour produire des instantanés signifie qu'il est possible de prédire les temps d'instantané d'articles individuels avec une grande précision. Les chercheurs suggèrent qu'il est possible d'exploiter ce protocole pour empoisonner les pages Wikipédia avec un taux de réussite de 6,5 %.
Ce pourcentage peut ne pas paraître élevé, mais le grand nombre de pages Wikipédia et la manière dont elles sont utilisées pour former des ensembles de données d'apprentissage automatique signifient qu'il serait possible de fournir des informations inexactes aux modèles.
Les chercheurs notent qu'ils n'ont modifié aucune page Wikipédia en direct et qu'ils ont informé Wikipédia des attaques et des moyens potentiels de s'en défendre dans le cadre du processus de divulgation responsable. ZDNET a contacté Wikipédia pour commentaires.
Les chercheurs notent également que le but de la publication de l'article est d'encourager d'autres acteurs du secteur de la sécurité à mener leurs propres recherches sur la manière de défendre les systèmes d'IA et d'apprentissage automatique contre les attaques malveillantes.
"Notre travail n'est qu'un point de départ permettant à la communauté de mieux comprendre les risques impliqués dans la génération de modèles à partir de données à l'échelle du Web", indique le document.