La FTC affirme que la société d'IA Evolv a « faussement vanté » ses scanners de sécurité

Les scanners d'Evolv ne fonctionnent pas aussi bien qu'ils le laissent croire aux écoles. Voici ce que cela signifie pour la sécurité des enfants.

Les entreprises d’intelligence artificielle (IA) ont l’habitude d’embellir les capacités de leurs produits - et lorsqu’il s’agit de sécurité publique, les conséquences peuvent être mortelles.

Evolv Technologies a affirmé que ses scanners de sécurité alimentés par l'IA amélioreraient la sécurité publique en détectant les armes dans divers endroits, y compris dans les écoles. Mais la Federal Trade Commission (FTC) en a décidé autrement.

La semaine dernière, la FTC a proposé une ordonnance de règlement avec Evolv Technologies sur la façon dont l'entreprise a survendu la capacité de son système de sécurité basé sur l'IA à détecter les armes et à « ignorer les objets personnels inoffensifs » - en particulier en milieu scolaire. Les systèmes sans contact d'Evolv scannent les personnes lorsqu'elles entrent dans un espace sans nécessiter une fouille manuelle des sacs ou des poches.

Dans un article publié sur X, la présidente de la FTC, Lina Khan, a déclaré qu'Evolv avait « faussement vanté » ses systèmes de détection d'armes IA auprès des districts scolaires qui avaient payé des « millions » à l'entreprise pour utiliser la technologie dans les écoles. Elle a noté que les scanners déclenchaient des alarmes pour des objets inoffensifs tels que des bouteilles d'eau et des classeurs, sans toutefois permettre d'identifier les armes.

1. Evolv falsely hyped its AI-powered security screening systems to school districts that then paid it millions of dollars.
In reality, Evolv's scanners sometimes failed to detect weapons in schools while setting off alarms for binders and water bottles. pic.twitter.com/JFonOYEoyA

— Lina Khan (@linakhanFTC) November 26, 2024

Selon The Intercept, en juin 2022, on a demandé à l'ancien directeur général d'Evolv, Peter George, lors d'une conférence d'investisseurs, « si l'entreprise aurait arrêté la tragique fusillade dans une école d'Uvalde, au Texas, où 19 étudiants et deux enseignants ont été tués ».

George a répondu : "Quand quelqu'un passe par notre système et qu'il a une arme dissimulée ou une arme ouverte, nous la trouverons, point final."

Malgré la déclaration de Georges, des dizaines de districts scolaires qui ont dépensé des millions en technologie de détection d'armes à feu ont connu des cas où les systèmes d'Evolvs ne détectaient pas les armes, selon Intercept, ce qui a entraîné un examen juridique et réglementaire. En 2023, cinq cabinets d'avocats ont annoncé des enquêtes sur les technologies Evolv pour d'éventuelles violations de la loi sur les valeurs mobilières, affirmant qu'« Evolv avait induit les investisseurs en erreur sur les capacités de ses détecteurs d'armes ».

De plus, les actionnaires d'Evolv ont intenté un recours collectif contre la société, arguant que les allégations marketing de la société surestimaient l'efficacité de la technologie.

Les problèmes ne s'arrêtent pas là. Malgré ces troubles juridiques, réglementaires et internes, le maire de la ville de New York, Eric Adams, a lancé un programme pilote de trois mois visant à déployer les scanners IA dans les métros de New York. Les mêmes scanners avaient déjà été déployés au centre médical Jacobi, où ils auraient déclenché un grand nombre de faux positifs, selon le média Hell Gate basé à New York.

Il est courant que les systèmes d’IA s’améliorent avec le temps, car les modèles peuvent devenir plus précis à mesure qu’ils accumulent des données. Pour Evolv, ce n'était pas le cas. Au fur et à mesure que le programme pilote progressait, les scanners IA « ne sont pas devenus plus précis - il n’y a pas eu un seul mois où le ratio alarme/visiteur est tombé en dessous de 25 pour cent », a rapporté Hell Gate.

Des rapports supplémentaires ont révélé que les scanners avaient « un taux de faux positifs de 95 pour cent » et que seulement 0,45 pour cent des alertes étaient déclenchées par des personnes portant des armes qui ne faisaient pas partie des forces de l'ordre.

Ce que cela signifie pour la sécurité des écoles

Mercredi, Evolv Technologies a conclu un accord avec la FTC pour résoudre l'enquête sur ses allégations marketing antérieures. Selon un article du FTCblog, l'ordonnance de règlement proposée empêcherait Evolv de « faire des affirmations non étayées sur la capacité de ses produits à détecter des armes en utilisant l'intelligence artificielle ». Cela obligerait également Evolv à « informer certains clients des écoles primaires et secondaires qu'ils peuvent choisir d'annuler les contrats signés entre le 1er avril 2022 et le 30 juin 2023 », qui peuvent être pluriannuels.

Samuel Levine, directeur du Bureau of Consumer Protection, déclare sur son blog que « La FTC a clairement indiqué que les affirmations concernant la technologie - y compris l'intelligence artificielle - doivent être étayées, et cela est particulièrement important lorsque ces affirmations impliquent la sécurité. des enfants."

Mike Ellenbogen, président et PDG par intérim d'Evolv Technology, a déclaré dans le communiqué de presse de la société que « l'enquête de la FTC portait sur le langage marketing passé et non sur la capacité de notre système à ajouter de la valeur aux opérations de sécurité ». L'entreprise a également souligné "que l'agence n'a pas remis en question l'efficacité fondamentale de la technologie de l'entreprise ni exigé une quelconque aide financière".

Les règlements proposés interdisent également à Evolv de faire de fausses déclarations ou de fausses déclarations concernant :

• "La capacité de ses produits à détecter les armes, à ignorer les objets personnels inoffensifs et à ignorer les objets personnels inoffensifs sans obliger les visiteurs à retirer ces objets de leurs poches ou sacs"
• "La précision de ses produits dans la détection des armes et le taux de fausses alarmes, y compris par rapport à l'utilisation de détecteurs de métaux traditionnels"
• "La rapidité avec laquelle les visiteurs peuvent être contrôlés par rapport à l'utilisation de détecteurs de métaux"
• "Les coûts de main-d'œuvre, y compris les comparaisons avec l'utilisation de détecteurs de métaux ; les tests ou les résultats de tout test ; et tout aspect important de leur performance, y compris l'utilisation d'algorithmes, d'intelligence artificielle ou d'autres systèmes ou outils automatisés."

La FTC a noté par le passé que les produits d’IA peuvent se révéler trop prometteurs en tant que solutions à des problèmes systémiques, ce qui est une conséquence du battage médiatique autour de l’IA. Cela peut être particulièrement risqué pour la sécurité publique si davantage de villes, d'institutions et d'écoles s'appuient sur des technologies telles que les scanners d'Evolv comme sécurité intégrée.