IBM va tester le LLM en Asie du Sud-Est et faciliter les efforts de localisation
Le partenariat de Big Blue avec AI Singapore permettra de tester et de rendre disponible le grand modèle de langage SEA-LION sur les plates-formes d'IA d'IBM.
IBM a signé un accord avec AI Singapore (AISG) pour tester le modèle de langage étendu (LLM) de cette dernière en Asie du Sud-Est et le mettre à la disposition des développeurs pour créer des applications d'intelligence artificielle (IA) personnalisées.
Dans le cadre de ce partenariat, IBM testera le modèle SEA-LION (Southeast Asian Languages in One Network) à l'aide de la technologie et de la plate-forme de données d'IA de Big Blue, Watsonx, et travaillera avec l'AISG pour affiner le LLM. L'objectif est d'aider les organisations à choisir des modèles d'IA adaptés à leurs besoins commerciaux, ont déclaré mardi IBM et l'AISG dans un communiqué commun.
IBM rendra également SEA-LION disponible dans sa bibliothèque de cas d'utilisation de l'IA, baptisée Digital Self-Serve Co-Create Experience (DSCE), permettant aux développeurs et aux scientifiques des données de créer des applications d'IA générative localisées (GenAI).
Selon l'AISG, SEA-LION est un LLM open source développé par l'AISG. Il est conçu pour être plus petit, plus flexible et plus rapide que les autres LLM. Son itération actuelle fonctionne sur deux modèles de base : un modèle à 3 milliards de paramètres et un modèle à 7 milliards de paramètres. Les données de formation du LLM sont composées de 981 milliards de jetons de langue, que l'AISG définit comme des fragments de mots créés à partir de la décomposition du texte au cours du processus de tokenisation. Ces fragments comprennent 623 milliards de jetons anglais, 128 milliards de jetons d’Asie du Sud-Est et 91 milliards de jetons chinois.
Avec SEA-LION, Singapour vise à stimuler le développement de LLM qui reflètent mieux la mixité sociétale de l'Asie du Sud-Est et présentent une meilleure compréhension contextuelle des cultures et des langues de la région.
Le partenariat vise à promouvoir un « modèle de base sur mesure » pour l'Asie du Sud-Est et élaboré par les Asiatiques du Sud-Est, selon Leslie Teo, directrice principale des produits d'IA de l'AISG. Les deux organisations chercheront également à créer des cas d'utilisation, à alimenter l'adoption de SEA-LION et à aider les organisations à « faire évoluer l'IA de manière sûre et responsable », a déclaré Teo.
La collaboration englobe les efforts visant à intégrer la gouvernance de l'IA dans SEA-LION, afin que les entreprises puissent mieux gérer la conformité, la gestion des risques et la gestion du cycle de vie des modèles, même si les réglementations gouvernementales sur l'IA continuent d'évoluer.
"[IBM] pense que les progrès ultérieurs de GenAI apporteront de meilleures performances dans des modèles de langage plus petits, les utilisateurs ayant la possibilité de personnaliser les modèles en fonction de leurs besoins commerciaux et industriels", a déclaré Catherine Lian, directrice générale et responsable technologique d'IBM Asean, dans un communiqué. .
« Il n'existe pas de modèle unique pour les entreprises, et les organisations doivent avoir le choix d'utiliser leurs modèles en fonction de leurs besoins », a déclaré Lian. "[Le] LLM SEA-LION est un grand pas en avant dans la création d'un système d'IA ouvert et dans la résolution des défis linguistiques de l'ASEAN auxquels les entreprises et les gouvernements sont confrontés lorsqu'ils travaillent avec l'IA."
En mars, l'AISG a également annoncé un partenariat avec Google pour améliorer les ensembles de données utilisés pour former, affiner et évaluer les modèles d'IA dans des langues spécifiques à l'Asie du Sud-Est. Appelée Projet Southeast Asian Languages in One Network Data, l'initiative vise à « améliorer la sensibilisation au contexte culturel » dans les LLM construits pour la région.
Dans un premier temps, le projet se concentrera sur l'indonésien, le thaï, le tamoul, le philippin et le birman - langues pour lesquelles l'AISG et Google développeront des modèles de translocalisation et de traduction. Ils créeront également des outils pour aider à faire évoluer les capacités de translocalisation, partageront les meilleures pratiques en matière de réglage des ensembles de données et publieront des guides de pré-formation pour les langues d'Asie du Sud-Est.