Si votre code généré par l’IA devient défectueux, qui est le plus exposé à la responsabilité ?

Le Kosmos-1 de Microsoft peut prendre des invites image et audio, ouvrant la voie à la prochaine étape au-delà des invites textuelles de ChatGPT.

Microsoft a dévoilé Kosmos-1, qu'il décrit comme un modèle de langage multimodal (MLLM) capable non seulement de répondre à des invites linguistiques, mais également à des signaux visuels, qui peuvent être utilisés pour un éventail de tâches, notamment le sous-titrage d'images, la réponse visuelle à des questions, et plus encore.

ChatGPT d'OpenAI a contribué à populariser le concept de LLM, tel que le modèle GPT (Generative Pre-trained Transformer), et la possibilité de transformer une invite ou une entrée de texte en une sortie.

Même si les gens sont impressionnés par ces capacités de chat, les LLM ont encore du mal à gérer les entrées multimodales, telles que les invites image et audio, affirment les chercheurs en IA de Microsoft dans un article intitulé "La langue n'est pas tout ce dont vous avez besoin : aligner la perception sur les modèles linguistiques". L'article suggère que la perception multimodale, ou l'acquisition de connaissances et la « mise à la terre » dans le monde réel, sont nécessaires pour aller au-delà des capacités de type ChatGPT vers l'intelligence artificielle générale (AGI).

"Plus important encore, le déverrouillage de l'entrée multimodale élargit considérablement les applications des modèles linguistiques à des domaines à plus forte valeur ajoutée, tels que l'apprentissage automatique multimodal, l'intelligence documentaire et la robotique", indique le document.

La société de robotique appartenant à Alphabet, Everyday Robots, et l'équipe Brain de Google ont montré l'année dernière le rôle de la mise à la terre en utilisant les LLM pour amener les robots à suivre les descriptions humaines de tâches physiques. L'approche impliquait d'ancrer le modèle de langage dans des tâches possibles dans un contexte réel donné. Microsoft a également utilisé la mise à la terre dans son modèle Prometheus AI pour intégrer les modèles GPT d'OpenAI aux commentaires réels du classement et des résultats de recherche Bing.

Microsoft affirme que son Kosmos-1 MLLM peut percevoir les modalités générales, suivre les instructions (apprentissage zéro coup) et apprendre en contexte (apprentissage en quelques coups). "L'objectif est d'aligner la perception sur les LLM, afin que les modèles soient capables de voir et de parler", indique le journal.

Les démonstrations des sorties de Kosmos-1 incluent l'image d'un chaton avec une personne tenant un papier avec un sourire dessiné sur sa bouche. L'invite est : « Expliquez pourquoi cette photo est drôle ? » La réponse de Kosmos-1 est : "Le chat porte un masque qui lui fait sourire."

D'autres exemples le montrent : percevoir à partir d'une image qu'un joueur de tennis a une queue de cheval ; lire l'heure sur une image d'un cadran d'horloge à 10h10 ; calculer la somme à partir d'une image de 4 + 5 ; en répondant « qu'est-ce que TorchScale ? » (qui est une bibliothèque d'apprentissage automatique PyTorch), basée sur une page de description GitHub ; et lire la fréquence cardiaque sur un cadran Apple Watch.

Chacun des exemples démontre le potentiel des MLLM comme Kosmos-1 pour automatiser une tâche dans plusieurs situations, qu'il s'agisse d'indiquer à un utilisateur de Windows 10 comment redémarrer son ordinateur (ou toute autre tâche avec une invite visuelle), ou de lire une page Web pour lancer une recherche sur le Web, l'interprétation des données de santé d'un appareil, le sous-titrage d'images, etc. Le modèle n’inclut cependant pas de capacités d’analyse vidéo.

Les chercheurs ont également testé les performances de Kosmos-1 lors du test Zero-shot Raven IQ. Les résultats ont révélé un « écart de performance important entre le modèle actuel et le niveau moyen des adultes », mais ont également révélé que sa précision montrait le potentiel des MLLM à « percevoir des modèles conceptuels abstraits dans un contexte non verbal » en alignant la perception sur les modèles de langage.

La recherche sur les « réponses aux questions sur les pages Web » est intéressante étant donné le projet de Microsoft d'utiliser des modèles de langage basés sur Transformer pour faire de Bing un meilleur rival pour la recherche Google.

"La réponse aux questions sur les pages Web vise à trouver des réponses aux questions des pages Web. Cela nécessite que le modèle comprenne à la fois la sémantique et la structure des textes. La structure de la page Web (telle que les tableaux, les listes et la mise en page HTML) joue un rôle clé rôle dans la façon dont les informations sont organisées et affichées. Cette tâche peut nous aider à évaluer la capacité de notre modèle à comprendre la sémantique et la structure des pages Web », expliquent les chercheurs.