Les algorithmes dirigeront bientôt votre vie - et la ruineront s’ils sont mal formés

Les systèmes d’IA qui utilisent des données entraînées avec un étiquetage descriptif peuvent donner lieu à des décisions beaucoup plus difficiles que celles que prennent les humains. Il n'est pas trop tard pour résoudre le problème.

Il se passe actuellement quelque chose dans la conception des modèles d'IA qui, à moins que cela ne soit réglé bientôt, pourrait avoir des conséquences désastreuses pour nous, les humains, selon une expérience récente menée par une équipe interuniversitaire d'informaticiens de l'Université de Toronto (UoT). et le Massachusetts Institute of Technology (MIT).

Tous les modèles d’IA doivent être entraînés sur de grandes quantités de données. Cependant, selon certaines informations, la manière dont cela est fait est profondément erronée.

Jetez un œil autour de vous et découvrez les nombreuses façons majeures et mineures dont l’IA s’est déjà insinuée dans votre existence. Alexa vous rappelle vos rendez-vous, les robots de santé diagnostiquent votre fatigue, les algorithmes de détermination des peines suggèrent des peines de prison et de nombreux outils d'IA ont commencé à filtrer les prêts financiers, pour n'en nommer que quelques-uns.

Imaginez dans une décennie où pratiquement tout ce que vous faites aura un algorithme comme gardien.

Ainsi, lorsque vous envoyez votre demande de location de logement ou de prêt, ou que vous attendez d'être sélectionné pour une intervention chirurgicale ou un emploi pour lequel vous êtes parfait - et que vous êtes rejeté à plusieurs reprises pour chacun d'entre eux, il se peut que ce ne soit pas simplement un une vague de malchance mystérieuse et malheureuse.

Au lieu de cela, la cause de ces résultats négatifs pourrait être que l’entreprise à l’origine des algorithmes d’IA a fait un travail de mauvaise qualité dans leur formation.

Plus précisément, comme ces scientifiques (Aparna Balagopalan, David Madras, David H. Yang, Dylan Hadfield-Menell, Gillian Hadfield et Marzyeh Ghassemi) l'ont souligné dans leur récent article paru dans Science, les systèmes d'IA formés sur des méthodes descriptives les données prennent invariablement des décisions beaucoup plus difficiles que celles que prendraient les humains.

À moins qu’ils ne soient corrigés, suggèrent ces résultats, de tels systèmes d’IA pourraient causer des ravages dans les domaines de prise de décision.

Étourdissement de l'entraînement

Dans un projet antérieur axé sur la manière dont les modèles d’IA justifient leurs prédictions, les scientifiques susmentionnés ont pris conscience que les humains participant à l’étude donnaient parfois des réponses différentes lorsqu’on leur demandait d’attacher des étiquettes descriptives et normatives aux données.

Les affirmations normatives sont des déclarations qui disent clairement ce qui devrait ou ne devrait pas arriver (« Il devrait étudier beaucoup plus dur pour réussir l'examen. »). Ce qui est à l'œuvre ici est un jugement de valeur. Les affirmations descriptives s'attardent sur le « est » sans aucune opinion attachée. ("La rose est rouge.")

Cela a intrigué l'équipe, alors ils ont décidé d'approfondir leur recherche avec une autre expérience ; cette fois, ils ont rassemblé quatre ensembles de données différents pour tester différentes politiques.

L’une d’elles était un ensemble de données d’images de chiens utilisées pour établir la règle d’un appartement hypothétique interdisant l’entrée de chiens agressifs.

Les scientifiques ont ensuite rassemblé un groupe de participants à l'étude pour attacher des étiquettes « descriptives » ou « normatives » aux données selon un processus qui reflète la manière dont les données sont formées.

C'est ici que les choses sont devenues intéressantes.

Il a été demandé aux étiqueteurs descriptifs de décider si certaines caractéristiques factuelles étaient présentes ou non, par exemple si le chien était agressif ou négligé. Si la réponse était « oui », alors la règle était essentiellement violée - mais les participants n'avaient aucune idée de l'existence de cette règle lors de la pesée et n'étaient donc pas conscients que leur réponse éjecterait un malheureux chien de l'appartement.

Pendant ce temps, un autre groupe d’étiqueteurs normatifs a été informé de la politique interdisant les chiens agressifs, puis invité à porter un jugement sur chaque image.

Il s'avère que les humains sont beaucoup moins susceptibles de qualifier un objet de violation lorsqu'ils sont au courant d'une règle et beaucoup plus susceptibles d'enregistrer un chien comme agressif (bien qu'inconsciemment) lorsqu'on leur demande d'étiqueter les choses de manière descriptive.

La différence n’était pas non plus minime. Les étiqueteurs descriptifs (ceux qui ne connaissaient pas la règle de l'appartement mais à qui on avait demandé de se prononcer sur l'agressivité) avaient involontairement condamné 20 % de chiens de plus à la prison pour chiens que ceux à qui on avait demandé si la même image du chien enfreignait la règle de l'appartement ou non.

Le chaos des machines

Les résultats de cette expérience ont de sérieuses implications sur pratiquement tous les aspects de la vie des humains, et particulièrement si vous ne faites pas partie d’un sous-groupe dominant.

Par exemple, considérons les dangers d'une « boucle d'apprentissage automatique » dans laquelle un algorithme est conçu pour évaluer les candidats au doctorat. L'algorithme est alimenté par des milliers de candidatures antérieures et, sous supervision, apprend qui sont les candidats retenus et ceux qui ne le sont pas.

Il distille ensuite à quoi devrait ressembler un candidat retenu : des notes élevées, un excellent pedigree universitaire et une race blanche.

L'algorithme n'est pas raciste, mais les données qui lui ont été fournies sont biaisées de manière à perpétuer la même vision biaisée « selon laquelle, par exemple, les personnes pauvres ont moins accès au crédit parce qu'elles sont pauvres ; et parce que ils ont moins accès au crédit, ils restent pauvres", explique le juriste Francisco de Abreu Duarte.

Aujourd’hui, ce problème est partout autour de nous.

ProPublica, par exemple, a rapporté comment un algorithme largement utilisé aux États-Unis pour condamner les accusés sélectionnerait à tort les accusés noirs comme étant les plus susceptibles de récidiver, à un taux presque deux fois plus élevé que les accusés blancs, même si toutes les preuves étaient du contraire à la fois au début et à la fin. au moment du prononcé de la peine et dans les années à venir.

Il y a cinq ans, Joy Buolamwini, chercheuse au MIT, a révélé que les algorithmes du laboratoire universitaire utilisés dans le monde entier ne pouvaient pas réellement détecter un visage noir, y compris le sien. Cela n’a changé que lorsqu’elle portait un masque blanc.

D’autres préjugés liés au sexe, à l’origine ethnique ou à l’âge sont monnaie courante dans l’IA - mais il existe une grande différence qui les rend encore plus dangereux que le jugement humain biaisé.

"Je pense que la plupart des chercheurs en intelligence artificielle et en apprentissage automatique supposent que les jugements humains sur les données et les étiquettes sont biaisés, mais ce résultat révèle quelque chose de pire", déclare Marzyeh Ghassemi, professeur adjoint au MIT en génie électrique et informatique et à l'Institut de recherche. Génie médical et science.

"Ces modèles ne reproduisent même pas des jugements humains déjà biaisés, car les données sur lesquelles ils sont formés présentent un défaut : les humains étiqueteraient différemment les caractéristiques des images et du texte s'ils savaient que ces caractéristiques seraient utilisées pour un jugement", ajoute-t-elle. .

Ils rendent en fait des verdicts bien pires que les préjugés sociétaux existants, ce qui fait du processus relativement rudimentaire d’étiquetage des ensembles de données d’IA une bombe à retardement s’il n’est pas effectué correctement.