3 activités secondaires lucratives que vous pouvez commencer dès maintenant avec le générateur de vidéos Sora d'OpenAI
La société mère de Facebook dévoile ses derniers efforts en matière de traduction automatique.
« Les systèmes de traduction automatique largement accessibles prennent en charge environ 130 langues ; Notre objectif est de porter ce nombre à 200 », écrivent les auteurs dans leur énoncé de mission.
Meta, propriétaire de Facebook, Instagram et WhatsApp, a dévoilé mercredi son dernier effort en matière de traduction automatique, un opus de 190 pages décrivant comment il a utilisé des formes d’apprentissage profond de réseaux neuronaux pour doubler la traduction de pointe pour les langues à 202 langues, dont beaucoup sont des langues dites « à faibles ressources » telles que l’oromo du centre-ouest, une langue de l’État d’Oromia en Éthiopie. Le tamasheq, parlé en Algérie et dans plusieurs autres régions d’Afrique du Nord, et le waray, la langue du peuple Waray des Philippines.
Le rapport d'une équipe de chercheurs de Meta, ainsi que d'universitaires de l'UC Berkeley et de Johns Hopkins, intitulé « No Language Left Behind : Scaling Human-Centered Machine Translation », est publié sur le site Web de recherche sur l'IA de Facebook, avec un article de blog d'accompagnement, et les deux devraient être une lecture obligatoire pour la richesse des détails sur le sujet.
« Les systèmes de traduction automatique largement accessibles prennent en charge environ 130 langues ; Notre objectif est de porter ce nombre à 200 », écrivent-ils dans leur énoncé de mission.
Pour une vue simple, consultez le rapport de présentation de Stephanie Condon de ZDNet. Comme le raconte Stephanie, Meta met en open source ses ensembles de données et son code de modèle de réseau neuronal sur GitHub, et offre également des bourses de 200 000 $à des utilisations extérieures de la technologie. L'entreprise s'est associée aux propriétaires de Wikipédia, la Fondation Wikimedia, pour améliorer la traduction des articles de Wikipédia.
Une surprise enfouie dans le rapport est que, malgré une amélioration mesurable dans tous les domaines sur un plus grand groupe de langues, comme l'indiquent les systèmes de notation automatique, lorsqu'il s'agit d'évaluation humaine de la qualité des traductions, le réseau neuronal des chercheurs, connu affectueusement sous le nom de « No Language Left Behind Two Hundred », ou NLLB-200, ne montre pas beaucoup d’amélioration dans un certain nombre de cas linguistiques, y compris non seulement les langues à faibles ressources comme l’oromo, mais aussi les langues où le matériel de traduction est répandu comme le grec et l’islandais.
La leçon est que, malgré la capacité d’obtenir des scores moyens, les subtilités de la création de traductions significatives, du moins dans la mesure où un humain perçoit la traduction, ne peuvent pas être simplement automatisées. Les auteurs ont constaté que lorsqu’ils agrandissaient leur réseau numérique, ce qui devrait signifier plus puissant, ils trouvaient en fait des rendements décroissants lors de la traduction de phrases de l’anglais vers une autre langue, et certains effets négatifs lors de la traduction entre des phrases non anglaises.
L’équipe a pris de nombreuses mesures pour améliorer la traduction, notamment en interrogeant des centaines de locuteurs natifs de langues à faibles ressources - les entretiens durent en moyenne une heure et demie - afin d’évaluer les besoins et les préoccupations des locuteurs. (Il y a une discussion approfondie sur l’éthique d’un tel travail de terrain et l’éthique de l’incorporation de langues à faibles ressources qui pourraient être submergées par un flot d’attention ; cette discussion dans le document mérite une attention particulière.)
Mais le cœur du travail est qu’ils se sont donné beaucoup de mal pour compiler un nouvel ensemble de données afin d’entraîner leur réseau neuronal, et même en inventant de nouvelles méthodes - qu’ils proposent comme code source - pour effectuer l’identification des langues sur les matériaux Web, pour identifier les tests qui appartiennent à une langue.
Ils utilisent des méthodes automatisées pour compiler un ensemble de données de paires de phrases bilingues pour toutes leurs langues cibles. L’ensemble de données contient des statistiques assez intéressantes :
Au total, il y a 1220 paires de langues ou 2440 directions (xx-yy et yy-xx) pour l’entraînement. Ces 2440 directions totalisent plus de 18 milliards de paires de phrases [...] la majorité des paires ont moins de 1 million de phrases et sont des directions à faibles ressources.
Les auteurs utilisent ces données pour former le réseau neuronal NLLB, mais ils utilisent également un ensemble de données artisanales de traductions construites par des traducteurs humains. L’élément humain, l’ensemble de données « NLLB-SEED », s’avère être assez important. « Malgré la taille considérablement plus grande des données d’entraînement accessibles au public, l’entraînement sur NLLB-Seed conduit à des performances nettement supérieures en moyenne », écrivent-ils.
L’effort NLLB comprend plusieurs étapes, en commençant par l’exploration de textes bidirectionnels accessibles au public de paires de langues, l’identification des langues via des méthodes automatisées, la création d’un ensemble de données d’entraînement géant, l’entraînement du réseau neuronal NLLB-200, puis l’évaluation du programme sur un nouvel ensemble de données de référence créé avec des traducteurs humains, FLORES-200.
Notez que l’équipe Meta n’est pas seule dans ce genre d’effort géant d’ensemble de données. En mai, les scientifiques de Google ont dévoilé un effort similaire de multi-linguisme, où ils ont pu parcourir le Web à la recherche de plus d’un million de phrases dans plus de 200 langues et de plus de 400 000 phrases dans plus de 400 langues.
Ces ensembles de données d’entraînement sont utilisés pour construire leur réseau neuronal, NLLB-200. Ils commencent par le modèle de langage omniprésent Transformer de Google qui sous-tend la plupart des traductions linguistiques aujourd’hui.
Ils utilisent un transformateur de 54 milliards de paramètres, ce qui n’est pas énorme (certains modes approchent un billion de paramètres), mais ils apportent une modification clé.
Entre les couches individuelles du réseau connues sous le nom de « têtes d’attention », les auteurs entrelacent des branches d’exécution conditionnelle connues sous le nom d’un mélange d’exportations peu contrôlé. Fondamentalement, les experts peuvent choisir de désactiver ou d’activer certains de ces 54 milliards de paramètres lorsqu’ils font des prédictions, afin que le réseau neuronal puisse changer de nature à chaque tâche.
« Les modèles MoE (Sparsely Gated Mixture of Experts) sont un type de modèles de calcul conditionnels qui activent un sous-ensemble de paramètres de modèle par entrée, par opposition aux modèles denses qui activent tous les paramètres de modèle par entrée », expliquent-ils. La valeur du MoE, expliquent-ils, est qu’il « débloque une capacité de représentation significative tout en conservant la même efficacité d’inférence et d’entraînement en termes de FLOPs [opérations en virgule flottante par seconde] par rapport à l’architecture dense de base ».
Le réseau NLLB-200, à droite, insère des éléments de « mélange d’experts » entre les blocs d’attention standard du modèle Transformer, à gauche.
(Les auteurs ont même trouvé un point idéal pour cette approche : « L’insertion de couches MoE [mélange d’experts] à un intervalle de 4 blocs de transformateurs présente les meilleures performances, en particulier l’amélioration des performances dans des environnements à très faibles ressources. »)
Parallèlement à l’ensemble d’entraînement, les auteurs développent un nouvel ensemble de données de référence, FLORES-200, un ensemble de données de référence de haute qualité, de plusieurs à plusieurs, qui double la couverture linguistique d’un effort précédent connu sous le nom de Flores-101. L’ensemble de données est « créé avec des traducteurs humains professionnels qui traduisent l’ensemble de données source de FLORES dans les langues cibles et un groupe distinct de réviseurs de traduction indépendants qui effectuent des évaluations de la qualité des traductions humaines et fournissent des commentaires sur la traduction aux traducteurs.
Ensuite, ils testent comment le NLLB se comporte sur FLORES-200.
Les résultats, comme mentionné dans le résumé ci-dessus, sont une amélioration de 44 % par rapport aux programmes de traduction précédents, tels que mesurés par les scores automatisés courants tels que BLUE et chrF. Ils font des comparaisons approfondies entre différentes versions de ces scores.
En plus des scores automatisés, les auteurs ont demandé à des humains de lire les traductions et de les noter, et c'est là que certaines fissures apparaissent. En utilisant un protocole suggéré pour la première fois en 2012 par Eneko Agirre et ses collègues appelé « Semantic Textual Similarity », l’équipe de Meta utilise une variante appelée « XSTS », qu’elle a présentée dans un article séparé en mai.
XSTS demande aux humains d'évaluer les traductions sur une échelle de 1 à 5, 1 étant la pire, les deux phrases n'ont rien à voir l'une avec l'autre, et 5 étant la meilleure, elles disent à peu près la même chose selon une personne.
« En bref, XSTS est un protocole d’évaluation humaine qui se concentre sur la préservation du sens bien plus que sur la fluidité », écrivent-ils.
« Pour les langues à faibles ressources, les traductions sont généralement de moins bonne qualité, et nous nous concentrons donc beaucoup plus sur les traductions utilisables (préservant le sens), même si elles ne sont pas parfaitement courantes. »
Le score global n’est pas mauvais si l’on compare les résultats d’un Transformer de base pour les traductions vers et depuis l’anglais et une autre langue, mais ils obtiennent en fait de moins bons résultats sur une paire, de l’anglais vers le grec :
Dans l’ensemble, NLLB-200 obtient un score XSTS moyen de 4,15 pour les directions en anglais et de 3,75 pour les directions en anglais. Par rapport au modèle dense de base, les performances du NLLB-200 sont plus fortes. Certaines directions présentent une différence significative, comme le rus_Cyrl-tgk_Cyrl [du russe au tagalog] et le eng_Latn-gla_Latn [de l’anglais au gaélique écossais]. Nous remarquons également que le NLLB-200 fonctionne mieux que la ligne de base dans toutes les directions testées, à la seule exception de eng_Latn-ell_Grek [de l’anglais vers le grec] où les performances étaient légèrement moins bonnes.
Mais creusez un peu plus profondément et d’autres fissures apparaissent. Un tel effort gigantesque est une entreprise statistique, et pour toute entreprise statistique, la distribution des scores est plus révélatrice qu’une moyenne ou une médiane.
Sur de nombreuses paires de langues, telles que l’arménien vers l’anglais, et l’oromo du centre-ouest vers l’anglais, et l’amharique, la langue la plus utilisée en Éthiopie, traduite en arménien, et le français traduit en wolof, la langue maternelle du peuple wolof du Sénégal, et l’hindi traduit en Chhattisgarhi, une langue principale dans l’État du même nom en Inde centrale, Ils constatent que peu ou pas d’amélioration par rapport au modèle de base.
Des fissures apparaissent lorsque les examinateurs humains constatent que certaines paires de langues bénéficient très peu ou pas du tout des innovations du NLLB-200, y compris des paires de langues telles que l’arménien traduit en anglais et l’amharique, la langue la plus largement utilisée en Éthiopie, traduite en arménien. L’anglais traduit en grec s’est avéré encore pire que la ligne de base.
Ces exemples isolés, qui surgissent parmi les réussites - une grande amélioration par rapport au russe traduit en tagalog, une langue dominante aux Philippines, par exemple - mettent en évidence une vérité plus profonde, à laquelle les scientifiques réfléchissent.
Sans interpréter les évaluations humaines, les auteurs examinent les cas d’échec dans les scores automatisés BLUE et chrF, et ils émettent l’hypothèse de certaines limites ou lacunes de leur approche.
Soit, écrivent-ils, les paires de langues avec beaucoup de ressources, y compris le grec, ne bénéficient pas de l'ajout de l'approche du mélange d'experts, soit leur programme commence à devenir si puissant qu'ils se heurtent à un « sur-ajustement », où un réseau neuronal a simplement mémorisé quelques exemples sans former une représentation productive - ce qui signifie qu'il n'a rien « appris » du tout. vraiment.
Comme le disent les auteurs,
Les paires à ressources élevées auront probablement une capacité suffisante dans le modèle dense de 1,3 milliard [de paramètres] (compte tenu de la taille et de la nature de notre ensemble de données d’ablation) et ne bénéficieront pas autant de la capacité supplémentaire des modèles MoE [et] À mesure que nous augmentons le coût de calcul par mise à jour, la propension des paires à faibles ou très faibles ressources à surajuster augmente, ce qui entraîne une détérioration des performances.
Les auteurs proposent certaines mesures qui peuvent être prises pour atténuer le sur-apprentissage, telles qu’une sorte de « masquage » de diverses entrées, et un « routage conditionnel » dans le mélange d’experts.
Il y a tellement d'autres détails dans le rapport sur diverses configurations expérimentales qu'il est impossible de résumer toutes les découvertes. Qu’il suffise de dire que les auteurs espèrent que la voie de l’open source - et 200 000 $- convaincra « la communauté d’examiner les pratiques actuelles et d’améliorer là où nous échouons, dans une mission vers l’objectif de l’étoile polaire de ne pas laisser de langue de côté ».
En particulier, l’ensemble de données de traduction organisé, FLORES-200, est coûteux à assembler à l’aide de traducteurs professionnels. « À l’avenir, il pourrait être difficile d’étendre Flores-200 à d’autres langues à faibles ressources », observent-ils.
Dans l’ensemble, concluent-ils, une approche multidisciplinaire sera importante.
Le fait de partager le NLLB avec l’ensemble de la communauté scientifique et de la recherche permettra à ceux qui ont une expertise diversifiée de contribuer à l’avancement du projet. À bien des égards, la composition de l’effort de la NLLB témoigne de la centralité de l’interdisciplinarité dans l’élaboration de notre vision. La traduction automatique se situe à l’intersection du développement technologique, culturel et sociétal, et nécessite donc des chercheurs ayant une formation et des points de vue disparates pour en comprendre pleinement tous les angles. Nous espérons qu’au cours des prochaines itérations, NLLB continuera de s’étendre pour inclure des chercheurs issus de domaines sous-représentés dans le monde de la traduction automatique et de l’IA, en particulier ceux issus des sciences humaines et sociales. Plus important encore, nous espérons que les équipes qui élaborent de telles initiatives proviendront d’un large éventail d’identités raciales, de sexes et culturelles, tout comme les communautés dont nous cherchons à améliorer la vie.