La filiale Jigsaw de Google ajoute des outils d'IA pour créer un Internet plus agréable
Les commentaires de mauvaise qualité et mesquins pourraient-ils appartenir au passé ?
Ce n’est un secret pour personne : Internet compte son lot d’utilisateurs qui rabaissent les autres, partagent des commentaires inutiles et, dans certains cas, sont carrément abusifs. Jigsaw, filiale de Google, a publié lundi de nouveaux outils pour lutter davantage contre les dialogues négatifs en ligne.
L'API Perspective de Jigsaw, qui peut être intégrée aux systèmes de commentaires, sites Web, applications et autres plates-formes existants, utilise l'IA pour détecter les commentaires toxiques et élever les commentaires des utilisateurs qui sont utiles, positifs et ajoutent généralement à la conversation. La société a maintenant amélioré son API en ajoutant des « attributs de pontage expérimentaux ». Ceux-ci incluent une multitude de nouveaux points d’évaluation, notamment si un commentaire est nuancé ou fait preuve de curiosité. Le modèle peut également analyser les commentaires pour déterminer s'ils racontent une histoire personnelle, tentent de raisonner pour comprendre quelque chose ou « font preuve de déférence ou d'appréciation envers les autres ».
Lorsque Perspective ingère un commentaire, l'outil évalue le contenu en fonction d'une série d'attributs, notamment son niveau de toxicité, s'il est insultant, si le commentaire contient des grossièretés, s'il est sexuellement explicite et maintenant, s'il suscite la curiosité ou s'il contient des nuances, entre autres. . Perspective attribue ensuite un score à chacun de ces attributs pour déterminer si une personne trouverait un commentaire toxique, blasphématoire ou abusif.
"Par exemple, un commentaire comme 'Vous êtes un idiot' peut recevoir un score de probabilité de 0,8 pour la toxicité de l'attribut, ce qui indique que 8 personnes sur 10 percevraient ce commentaire comme toxique", a écrit Jigsaw.
Une fois que le commentaire a reçu une note, les utilisateurs de l’API doivent déterminer quoi en faire. Jigsaw envisage un scénario dans lequel les modérateurs augmentent ou rétrogradent les commentaires en fonction de leurs scores. L'API Perspective de Jigsaw permet également aux utilisateurs de créer des seuils de score pour filtrer automatiquement les commentaires que l'IA juge abusifs.
Les sites Web, y compris les plateformes de médias sociaux, se transforment souvent en un cloaque d’utilisateurs se livrant à des débats laids, à des commentaires grossiers, et bien plus encore. Alors que de nombreux services tentent depuis des années de résoudre le problème avec des outils tels que le vote positif des utilisateurs, des filtres ou même la désactivation des commentaires, peu de progrès ont été réalisés dans la réduction du harcèlement en ligne.
Il n'est pas clair si les nouveaux outils de Jigsaw peuvent aider à progresser dans ce domaine. Même si les chercheurs de Jigsaw vantent depuis longtemps leur technologie, les problèmes persistent dans le discours en ligne. De plus, Jigsaw reconnaît dans sa documentation que son outil n'a toujours pas la capacité de comprendre le contexte. Même si Perspective peut examiner objectivement un commentaire pour déterminer s'il est abusif, dans de nombreux cas, le contexte compte davantage.
"À l'avenir, nous espérons utiliser cela pour améliorer l'analyse du commentaire", a écrit Jigsaw. "Actuellement, nos attributs n'utilisent pas de contexte, donc l'envoi du contexte ne modifiera pas les scores d'un attribut."
Les nouveaux attributs ajoutés à l'API Perspective sont désormais disponibles pour les développeurs.