Comment Singapour crée une IA plus inclusive
Un modèle sur mesure pourrait être la réponse aux LLM axés sur l’Occident - voici ce qu’il peut faire pour l’Asie du Sud-Est.
À mesure que l'adoption de l'intelligence artificielle (IA) générative se développe, elle semble se heurter à un problème qui touche également d'autres secteurs : le manque d'inclusivité et de représentation mondiale.
Couvrant 11 marchés, dont l'Indonésie, la Thaïlande et les Philippines, l'Asie du Sud-Est compte une population totale d'environ 692,1 millions d'habitants. Ses habitants parlent plus d'une douzaine de langues principales, dont le philippin, le vietnamien et le laotien. À elle seule, Singapour compte quatre langues officielles : le chinois, l'anglais, le tamoul et le malais.
La plupart des grands modèles linguistiques (LLM) utilisés aujourd’hui dans le monde ne sont pas axés sur l’Asie et sous-représentent d’énormes poches de populations et de langues. Des pays comme Singapour cherchent à combler cette lacune, en particulier en Asie du Sud-Est, de sorte que la région dispose de LLM qui comprennent mieux ses divers contextes, langues et cultures.
Le pays fait partie des autres pays de la région qui ont souligné la nécessité de créer des modèles de base capables d'atténuer les biais de données dans les LLM actuels provenant des pays occidentaux.
Selon Leslie Teo, directrice principale des produits d'IA chez AI Singapore (AISG), l'Asie du Sud-Est a besoin de modèles puissants et reflétant la diversité de sa région. L'AISG estime que la solution se présente sous la forme de Southeast Asian Languages in One Network (SEA-LION), un LLM open source présenté comme étant plus petit, plus flexible et plus rapide que les autres sur le marché aujourd'hui.
SEA-LION, dont l'AISG gère et dirige le développement, fonctionne actuellement sur deux modèles de base : un modèle à trois milliards de paramètres et un modèle à sept milliards de paramètres.
Pré-formés et adaptés aux langues et cultures d'Asie du Sud-Est, ils ont été formés sur 981 milliards de jetons de langue, que l'AISG définit comme des fragments de mots créés à partir de la décomposition du texte au cours du processus de tokenisation. Ces fragments comprennent 623 milliards de jetons anglais, 128 milliards de jetons d’Asie du Sud-Est et 91 milliards de jetons chinois.
Les tokeniseurs existants des LLM populaires sont souvent centrés sur l'anglais : si très peu de leurs données de formation reflètent celles de l'Asie du Sud-Est, les modèles ne seront pas en mesure de comprendre le contexte, a déclaré Teo.
Il a noté que 13 % des données derrière SEA-LION sont axées sur l’Asie du Sud-Est. En revanche, le Llama 2 de Meta n’en contient que 0,5 %.
Un nouveau modèle de sept milliards de paramètres pour SEA-LION devrait être publié mi-2024, a déclaré Teo, ajoutant qu'il fonctionnera sur un modèle différent de son itération actuelle. Des plans sont également en cours pour des modèles de paramètres de 13 et 30 milliards plus tard cette année.
Il a expliqué que l'objectif est d'améliorer les performances du LLM avec des modèles plus grands capables d'établir de meilleures connexions ou dotés de capacités d'incitation à tir nul et d'une meilleure compréhension contextuelle des nuances régionales.
Teo a souligné le manque de références robustes disponibles aujourd'hui pour évaluer l'efficacité d'un modèle d'IA, un vide que Singapour cherche également à combler. Il a ajouté que l'AISG vise à développer des mesures permettant d'identifier s'il existe un biais dans les LLM axés sur l'Asie.
À mesure que de nouvelles références émergent et que la technologie continue d'évoluer, de nouvelles itérations de SEA-LION seront publiées pour obtenir de meilleures performances.
Meilleure pertinence pour les organisations
En tant que moteur du développement régional du LLM avec SEA-LION, Singapour joue un rôle clé dans la construction d'un écosystème d'IA plus inclusif et plus sensible à la culture, a déclaré Charlie Dai, vice-président et analyste principal de la société d'études de marché Forrester.
Il a exhorté le pays à collaborer avec d'autres pays de la région, des instituts de recherche, des communautés de développeurs et des partenaires industriels pour renforcer davantage la capacité de SEA-LION à relever des défis spécifiques, ainsi qu'à promouvoir la sensibilisation à ses avantages.
Selon Biswajeet Mahapatra, analyste principal chez Forrester, l'Inde cherche également à construire son propre modèle de fondation pour mieux répondre à ses exigences uniques.
"Pour un pays aussi diversifié que l'Inde, les modèles construits ailleurs ne répondront pas aux besoins variés de sa population diversifiée", a noté Mahapatra.
En construisant des modèles d'IA de base au niveau national, il a ajouté que le gouvernement indien serait en mesure de fournir des services plus étendus aux citoyens, notamment des programmes de protection sociale basés sur divers paramètres, une gestion améliorée des cultures et des services de santé pour les régions reculées du pays.
En outre, ces modèles garantissent la souveraineté des données, améliorent l’efficacité du secteur public, renforcent les capacités nationales et stimulent la croissance et les capacités économiques dans différents secteurs, tels que la médecine, la défense et l’aérospatiale. Il a noté que les organisations indiennes travaillaient déjà sur des preuves de concept et que les startups de Bangalore collaboraient avec l'Organisation indienne de recherche spatiale et Hindustan Aeronautics pour créer des solutions basées sur l'IA.
Les modèles de fondations asiatiques pourraient être plus efficaces dans les tâches liées à la langue et à la culture, et être spécifiques au contexte de ces marchés régionaux, a-t-il expliqué. Étant donné que ces modèles sont capables de gérer un large éventail de langues, notamment le chinois, le japonais, le coréen et l'hindi, tirer parti des modèles fondamentaux asiatiques peut être avantageux pour les organisations opérant dans des environnements multilingues, a-t-il ajouté.
Dai prévoit que la plupart des organisations de la région adopteront une approche hybride, en exploitant à la fois les modèles de fondation de l’Asie-Pacifique et des États-Unis pour alimenter leurs plateformes d’IA.
En outre, il a noté qu'en règle générale, les entreprises respectent les réglementations locales en matière de confidentialité des données ; les modèles d'écoute formés spécifiquement pour la région soutiennent cela, car ils peuvent déjà être affinés avec des données conformes aux lois locales sur la confidentialité.
Dans son récent rapport sur les modèles de fondations axés sur l'Asie, dont Dai était l'auteur principal, Forrester a décrit cet espace comme « en croissance rapide », avec des offres compétitives qui adoptent une approche différente de celle de leurs homologues nord-américains, qui ont construit leurs modèles avec des modèles similaires. modèles d’adoption.
« En Asie-Pacifique, chaque pays a des exigences client variées, des langues multiples et des besoins de conformité réglementaire », indique le rapport. "Les modèles de base comme Ernie 3.0 de Baidu et Tongyi Qianwen d'Alibaba ont été formés sur des données multilingues et sont capables de comprendre les nuances des langues asiatiques."
Son rapport souligne que la Chine est actuellement en tête de la production avec plus de 200 modèles de fondations. L’accent mis par le gouvernement chinois sur l’autonomie technologique et la souveraineté des données sont les moteurs de la croissance.
Cependant, d'autres modèles émergent rapidement dans la région, notamment Wiz.ai pour le bahasa indonésien et OpenHathi de Sarvam AI pour les langues et dialectes régionaux indiens. Selon Forrester, Line, NEC et la start-up Sakana AI font partie de ceux qui lancent des modèles de fondation au Japon.
« Pour la plupart des entreprises, l'acquisition de modèles de fondation auprès de fournisseurs externes sera la norme », écrit Dai dans le rapport. « Ces modèles constituent des éléments essentiels dans le cadre plus large de l'IA, mais il est important de reconnaître que tous les modèles de base ne sont pas du même [calibre].
« L'adaptation du modèle aux besoins spécifiques des entreprises et la disponibilité locale dans la région sont particulièrement importantes pour les entreprises de la région Asie-Pacifique », a-t-il poursuivi.
Dai a également noté que des services professionnels adaptés aux connaissances commerciales locales sont nécessaires pour faciliter la gestion des données et l'ajustement du modèle pour les entreprises de la région. Il a ajouté que l’écosystème autour des modèles de fondations locales bénéficiera donc d’un meilleur soutien sur les marchés locaux.
"La gestion des modèles de fondation est complexe et le modèle de fondation lui-même n'est pas une solution miracle", a-t-il déclaré. « Cela nécessite des capacités complètes en matière de gestion des données, de formation des modèles, de réglage fin, de maintenance, de développement d'applications et de gouvernance, couvrant la sécurité, la confidentialité, l'éthique, l'explicabilité et la conformité réglementaire. Et les petits modèles sont là pour rester.
Dai a également conseillé aux organisations d'avoir « une vision holistique dans l'évaluation des modèles de base » et de maintenir une « approche progressive » dans l'adoption de la génération IA. Lors de l'évaluation des modèles de base, il a recommandé aux entreprises d'évaluer trois catégories clés : l'adaptabilité et la flexibilité de déploiement ; les affaires, comme la disponibilité locale ; et l'écosystème, comme la génération augmentée par récupération (RAG) et la prise en charge des API.
Maintenir l’IA humaine dans la boucle
Lorsqu'on lui a demandé s'il était nécessaire que les principaux LLM soient intégrés aux modèles axés sur l'Asie - d'autant plus que les entreprises utilisent de plus en plus la génération IA pour soutenir les processus de travail tels que le recrutement - Teo a souligné l'importance de l'adoption et de la gouvernance responsables de l'IA.
"Quelles que soient l'application, la manière dont vous l'utilisez et les résultats, ce sont les humains qui doivent rendre des comptes, et non l'IA", a-t-il déclaré. "Vous êtes responsable du résultat et vous devez être capable d'exprimer clairement ce que vous faites pour [assurer la sécurité de l'IA."
Il s'est dit préoccupé par le fait que cela pourrait ne pas être adéquat, car les LLM font désormais partie de tout, de l'évaluation des curriculum vitae au calcul des cotes de crédit.
"Il est déconcertant que nous ne sachions pas comment ces modèles fonctionnent à un niveau plus profond", a-t-il déclaré. "Nous n'en sommes qu'au début du développement du LLM, l'explicabilité est donc un problème."
Il a souligné la nécessité de cadres permettant une IA responsable, non seulement pour la conformité, mais également pour garantir que les clients et les partenaires commerciaux peuvent faire confiance aux modèles d'IA utilisés par les organisations.
Comme l'a souligné le Premier ministre de Singapour, Lawrence Wong, lors du Sommet sur l'IA à Séoul le mois dernier, les risques doivent être gérés pour se prémunir contre le risque que l'IA devienne malveillante, en particulier lorsqu'il s'agit de systèmes d'armes militaires intégrés à l'IA et de modèles d'IA entièrement autonomes.
"On peut envisager des scénarios dans lesquels l'IA devient malveillante ou où la rivalité entre pays entraîne des conséquences inattendues", a-t-il déclaré, tout en exhortant les pays à évaluer la responsabilité de l'IA et les mesures de sécurité. Il a ajouté que « la sécurité, l'inclusivité et l'innovation de l'IA doivent progresser en tandem ».
Alors que les pays se rassemblent autour de leur intérêt commun dans le développement de l’IA, Wong a souligné la nécessité d’une réglementation qui n’étouffe pas son potentiel à alimenter l’innovation et la collaboration internationale. Il a plaidé pour la mise en commun des ressources de recherche, en soulignant les instituts de sécurité de l'IA dans le monde entier, notamment à Singapour, en Corée du Sud, au Royaume-Uni et aux États-Unis, qui devraient travailler ensemble pour répondre aux préoccupations communes.