La police utilise l'IA pour rédiger des rapports de criminalité. Qu'est-ce qui pourrait mal se passer ?

Le Draft One d'Axon est destiné à faire gagner du temps aux agents, mais une technologie connue pour halluciner peut-elle améliorer le maintien de l'ordre ?

Malgré les risques documentés, certains services de police américains testent des chatbots à intelligence artificielle (IA) qui élaborent des rapports sur les crimes afin de gagner du temps. Qu'est-ce qui pourrait mal se passer ?

Selon l'Associated Press (AP), les policiers d'Oklahoma City ont adopté l'utilisation de chatbots IA pour rédiger des « premières ébauches » de rapports de crimes et d'incidents en utilisant l'audio des caméras corporelles. Le sergent de police. Matt Gilmore a utilisé un chatbot IA appelé Draft One pour l'aider à rédiger un rapport d'incident après qu'une recherche de suspect infructueuse ait été capturée sur sa caméra corporelle, qui enregistrait « chaque mot et chaque aboiement [de chien de police] ». L'audio a été intégré à l'outil d'IA pour « produire un rapport en huit secondes ».

Draft One s'appuie sur le modèle GPT-4 d'OpenAI, qui alimente ChatGPT, pour analyser et résumer l'audio des caméras corporelles. Axon, un développeur de technologies et d'armes pour l'armée, les forces de l'ordre et les civils, a lancé le produit plus tôt cette année en tant que « solution immédiate ». multiplicateur de force" et gain de temps pour les départements, selon le communiqué.

ChatGPT est connu pour avoir des hallucinations, mais les représentants d'Axon disent qu'ils en ont tenu compte. Noah Spitzer-Williams, chef de produit senior chez Axon, a déclaré à l'AP que Draft One réduisait le « cadran de créativité » de ChatGPT afin qu'il « n'embellisse pas ou n'hallucine pas de la même manière que vous trouveriez si vous utilisiez simplement ChatGPT sur son site ». propre."

Sur la base des conseils des procureurs, le service de police d'Oklahoma City utilise Draft One uniquement pour des incidents « mineurs » - pas de crimes ni de crimes violents. Les rapports qu'il crée ne conduisent pas à des arrestations. Mais d'autres services de police, notamment à Fort Collins, au Colorado, et à Lafayette, dans l'Indiana, ont déjà introduit la technologie comme aide principale à la rédaction de rapports pour tous les cas. Un chef de la police a déclaré à l'AP que "cela a été incroyablement populaire".

Cependant, certains experts ont des inquiétudes. Le juriste Andrew Ferguson a déclaré à AP qu'il « craignait que l'automatisation et la simplicité de la technologie n'amènent les policiers à être moins prudents dans leur rédaction ».

Son hésitation quant au déploiement de l’IA dans les services de police pour rationaliser les flux de travail témoigne de problèmes globaux liés au recours aux systèmes d’IA pour automatiser certains processus de travail. Il existe de nombreux exemples d’outils basés sur l’IA qui aggravent la discrimination systémique. Par exemple, des recherches montrent que les employeurs utilisent des outils basés sur l'IA pour automatiser leurs processus de recrutement « sans mesures actives pour les atténuer, [conduisant à] des biais apparaissant par défaut dans les outils de recrutement prédictifs ».

Dans un communiqué, Axon affirme que la première version "comprend une série de garanties critiques, exigeant que chaque rapport soit examiné et approuvé par un agent humain, garantissant l'exactitude et la responsabilité des informations avant la soumission des rapports". Bien entendu, cela laisse place à l’erreur humaine et aux préjugés, qui sont déjà des problèmes connus depuis longtemps dans le domaine policier.

De plus, des chercheurs linguistes ont découvert que les grands modèles linguistiques (LLM) tels que GPT-4 « incarnent un racisme déguisé » et ne peuvent pas être formés pour contrer les stéréotypes raciolinguistiques concernant les langues marginales comme l'anglais afro-américain (AAE). Essentiellement, les LLM peuvent perpétuer les préjugés dialectaux lorsqu'ils détectent des langues comme l'AAE.

Edward Ongweso Jr., rédacteur en chef du magazine Logic(s), et Jathan Sadowski, professeur d'informatique, ont également critiqué les rapports automatisés sur la criminalité sur le podcast This Machine Kills, soulignant que les préjugés raciaux découlant des données de formation centrées sur l'Occident et des caméras corporelles elles-mêmes peuvent nuire aux personnes marginalisées.

Lorsqu'on lui a demandé comment Axon compense ces préoccupations, la directrice des communications stratégiques, Victoria Keough, a réitéré l'importance de l'examen humain. Dans un e-mail adressé à ZDNET, elle a noté que « les rapports narratifs de la police continuent d'être de la responsabilité des agents » et que « Axon teste rigoureusement nos produits basés sur l'IA et adhère à un ensemble de principes directeurs pour garantir que nous innovons de manière responsable ».

La société a mené deux études internes en utilisant 382 exemples de rapports spécifiquement pour les tests de préjugés raciaux. Ils ont évalué trois dimensions : la cohérence, l'exhaustivité et la gravité du choix des mots - pour détecter les préjugés raciaux qui pourraient survenir et si les chatbots produisaient des formulations ou des récits qui diffèrent de la « transcription source ». Les études n'ont trouvé aucune « différence statistiquement significative » entre les rapports Draft One et les transcriptions.

Alors que Draft One n'interprète que l'audio, Axon a également testé l'utilisation de la vision par ordinateur pour résumer les séquences vidéo. Cependant, le PDG d'Axon, Rick Smith, a déclaré que "compte tenu de toutes les sensibilités liées au maintien de l'ordre, à la race et aux autres identités des personnes impliquées, c'est un domaine dans lequel je pense que nous allons devoir faire un vrai travail avant de l'introduire".

Axon, dont l'objectif est de réduire de 50 % les décès liés aux armes à feu entre policiers et civils, fabrique également des caméras corporelles, destinées à améliorer le maintien de l'ordre grâce à des preuves objectives. Cependant, selon la base de données sur les fusillades policières du Washington Post, la police a tué davantage de personnes chaque année depuis 2020, malgré l'adoption massive de caméras corporelles dans tous les services de police américains.

Il reste à voir si davantage de ministères adopteront des outils comme Draft One et quel impact ils auront sur la sécurité publique.