4 façons dont l’IA contribue aux préjugés sur le lieu de travail
Les chercheurs ont découvert que les outils d’IA générative contiennent des préjugés raciaux systémiques qui affectent les professionnels.
Il ne fait aucun doute que l'intelligence artificielle (IA) est plus populaire que jamais, en partie grâce aux progrès récents et à l'accessibilité des outils d'IA générative.
Vous auriez du mal à trouver quelqu'un aux États-Unis qui n'a pas au moins entendu parler de ChatGPT, et encore moins qui a utilisé le service sous une forme ou une autre depuis son lancement en novembre 2022. Cependant, ces systèmes ne sont aussi intelligents que les données créées par l'homme sur lesquelles ils sont formés. Cela signifie que, comme les humains, ces outils d’IA peuvent être sujets à des biais.
Bloomberg a récemment publié une étude sur les préjugés raciaux dans GPT-3.5 et GPT-4. Les chercheurs ont utilisé GPT-3.5 pour classer 1 000 CV de candidats également qualifiés et portant des noms différents. Ils ont constaté que GPT-3.5 classait les personnes portant des noms traditionnellement utilisés par certains groupes démographiques, tels que les Noirs américains, au bas de la liste, et que GPT-4, qu'OpenAI présente comme moins biaisé, avait également des préférences claires.
Le British Journal of Radiology a publié une étude distincte montrant que les modèles d'IA sont également affectés par des biais préexistants dans les applications de soins de santé en raison d'inégalités et de disparités historiques en matière d'accès et de qualité. Ces facteurs sont accentués lorsque les systèmes d’IA sont formés sur des données reflétant les inégalités.
Voici quatre façons dont l’IA contribue aux préjugés sur le lieu de travail.
1. Discrimination fondée sur le nom
L’essor de l’IA générative a affecté les systèmes de recrutement automatisés, d’autant plus que de nombreuses entreprises sont devenues enthousiastes à l’idée d’utiliser des outils d’IA dans le recrutement pour réduire les coûts et accroître l’efficacité. Cependant, il a été constaté que les outils d'IA tels que ChatGPT présentent des préjugés flagrants basés sur les noms des personnes.
L'étude Bloomberg, entreprise par les chercheurs Leon Yin, Davey Alba et Leonardo Nicoletti, a créé huit CV différents avec des noms distinctement associés à certains groupes raciaux et ethniques. Ils ont ensuite utilisé GPT-3.5 - le grand modèle linguistique (LLM) qui alimente le niveau gratuit de ChatGPT - pour classer ces CV en fonction de l'adéquation des candidats. Accentuant les préjugés raciaux explorés depuis longtemps dans la recherche sociologique, le GPT-3.5 a favorisé certains groupes démographiques par rapport à d'autres « dans une mesure qui échouerait aux critères utilisés pour évaluer la discrimination au travail à l'encontre des groupes protégés », selon l'étude.
Les chercheurs de Bloomberg ont réalisé l’expérience 1 000 fois avec des noms et des combinaisons différents mais avec les mêmes qualifications. GPT-3.5 était le plus susceptible de classer des noms distincts de ceux des Américains d'origine asiatique (32 %) parmi les meilleurs candidats pour un rôle d'analyste financier, tandis que les Noirs américains étaient le plus souvent classés en bas. Les candidats portant des noms blancs ou à consonance hispanique étaient les plus susceptibles de recevoir un traitement égal.
2. Normes incohérentes selon les types d'emploi
Même si tous les curriculum vitae avaient les mêmes qualifications pour le poste d'analyste financier, les résultats montraient toujours les préjugés raciaux du LLM. Lorsque l'expérience a été répétée pour trois autres offres d'emploi, à savoir partenaire commercial RH, ingénieur logiciel senior et directeur de vente au détail, Bloomberg a également constaté que les préférences de genre et de race différaient selon l'emploi.
« GPT classait rarement les noms associés aux hommes comme les meilleurs candidats aux postes de RH et de vente au détail, deux professions historiquement dominées par les femmes. GPT était presque deux fois plus susceptible de classer les noms distincts des femmes hispaniques comme les meilleurs candidats à un poste de RH par rapport à chaque ensemble. de CV avec des noms distincts de ceux des hommes", révèle l'étude.
Voici un autre exemple d'outils d'IA affichant des normes incohérentes à partir de juillet 2023. Rona Wang, une étudiante américaine d'origine asiatique au MIT, a téléchargé un selfie sur le générateur d'images Playground AI et a demandé « une photo de profil LinkedIn professionnelle ». L'outil d'IA a transformé la photo de Wang en l'image d'une femme de race blanche portant le sweat-shirt MIT de Wang.
3. Amplification des préjugés sociétaux historiques
Les outils d'IA générative sont souvent utilisés pour sélectionner et classer les candidats, créer des CV et des lettres de motivation et résumer plusieurs dossiers simultanément. Mais la qualité des modèles d’IA dépend des données sur lesquelles ils sont formés.
GPT-3.5 a été formé sur des quantités massives d'informations largement disponibles en ligne, notamment des livres, des articles et des réseaux sociaux. L’accès à ces données en ligne reflétera inévitablement les inégalités sociétales et les préjugés historiques, comme le montrent les données de formation, dont le modèle d’IA hérite et reproduit dans une certaine mesure.
Personne qui utilise l’IA ne devrait supposer que ces outils sont intrinsèquement objectifs, car ils sont formés sur de grandes quantités de données provenant de différentes sources. Même si les modèles d’IA générative peuvent être utiles, nous ne devons pas sous-estimer le risque de biais dans un processus de recrutement automatisé - et cette réalité est cruciale pour les recruteurs, les professionnels des ressources humaines et les managers.
En 2019, une étude de l’Université Clarkson a révélé des préjugés raciaux dans les technologies de reconnaissance faciale, révélant des taux de précision inférieurs pour les personnes à la peau foncée. Quelque chose d'aussi simple que des données sur la répartition démographique dans les codes postaux utilisées pour former des modèles d'IA, par exemple, peut entraîner des décisions qui affectent de manière disproportionnée les personnes issues de certaines origines raciales.
4. Manque de transparence et de responsabilité
Même si l’utilisation d’IA génératives pour automatiser les processus RH peut susciter une attitude enthousiaste, ces outils d’IA n’offrent souvent pas de transparence dans leurs décisions.
Même si certaines sociétés d’IA proposent des clauses de non-responsabilité indiquant que les résultats de leurs modèles d’IA peuvent être inexacts, de nombreuses entreprises les utilisent encore pour créer leurs propres applications. Il n’est pas toujours clair quelle entreprise est responsable d’une erreur.
Lorsque Bloomberg a confronté OpenAI aux résultats de l'étude, la société à l'origine de ChatGPT a déclaré que les résultats des modèles prêts à l'emploi pourraient ne pas refléter la manière dont les utilisateurs utilisent ses modèles d'IA. OpenAI a déclaré que les entreprises pourraient supprimer les noms des CV avant de les attribuer à un modèle GPT.