Le nouveau système RT-2 de Google DeepMind permet aux robots d'effectuer de nouvelles tâches

Sommes-nous sur le point de vivre l’intrigue du film Terminator ?

À mesure que l’intelligence artificielle progresse, nous envisageons un avenir avec plus de robots et d’automatisations que jamais. Ils nous entourent déjà : le robot aspirateur qui peut naviguer de manière experte dans votre maison, un robot de compagnie pour divertir vos amis à quatre pattes et des robots tondeuses à gazon pour prendre en charge les tâches du week-end. Nous semblons être sur le point de vivre les Jetsons dans la vraie vie. Mais aussi intelligents qu’ils paraissent, ces robots ont leurs limites.

Google DeepMind a dévoilé RT-2, le premier modèle vision-langage-action (VLA) pour le contrôle des robots, qui élève effectivement le jeu robotique de plusieurs niveaux. Le système a été formé sur des données textuelles et des images provenant d’Internet, tout comme les grands modèles de langage derrière les chatbots IA comme ChatGPT et Bing.

Nos robots domestiques peuvent effectuer des tâches simples pour lesquelles ils sont programmés. Passez l'aspirateur sur les sols, par exemple, et si le capteur de gauche détecte un mur, essayez de le contourner. Mais les systèmes de contrôle robotiques traditionnels ne sont pas programmés pour gérer de nouvelles situations et des changements inattendus : souvent, ils ne peuvent pas effectuer plus d'une tâche à la fois.

RT-2 est conçu pour s'adapter à de nouvelles situations au fil du temps, apprendre de plusieurs sources de données telles que les données Web et robotiques pour comprendre à la fois le langage et les entrées visuelles, et effectuer des tâches qu'il n'a jamais rencontrées ni pour lesquelles il a été formé.

"Un modèle de langage visuel (VLM) pré-entraîné sur des données à l'échelle du Web apprend des données robotiques RT-1 pour devenir RT-2, un modèle de langage visuel-action (VLA) capable de contrôler un robot", de Google. Esprit profond.

Un robot traditionnel peut être entraîné à ramasser une balle et à trébucher en ramassant un cube. L'approche flexible de RT-2 permet à un robot de s'entraîner à ramasser une balle et de comprendre comment ajuster ses extrémités pour ramasser un cube ou un autre jouet qu'il n'a jamais vu auparavant.

Au lieu de la formation fastidieuse et réelle sur les milliards de points de données dont les robots traditionnels ont besoin, où ils doivent reconnaître physiquement un objet et apprendre à le saisir, RT-2 est formé sur une grande quantité de données et peut transférez ces connaissances en action, en effectuant des tâches jamais expérimentées auparavant.

"La capacité du RT-2 à transférer des informations en actions est prometteuse pour que les robots s'adaptent plus rapidement à de nouvelles situations et environnements", a déclaré Vincent Vanhoucke, responsable de la robotique de Google DeepMind. "En testant les modèles RT-2 dans plus de 6 000 essais robotiques, l'équipe a constaté que le RT-2 fonctionnait aussi bien que notre modèle précédent, le RT-1, sur les tâches de ses données d'entraînement, ou tâches "vues". Et il a presque doublé. sa performance sur des scénarios nouveaux et inédits à 62 % contre 32 % pour RT-1. »

Quelques exemples de RT-2 au travail publiés par Google DeepMind.

L'équipe DeepMind a adapté deux modèles existants, Pathways Language and Image Model (PaLI-X) et Pathways Language Model Embodied (PaLM-E), pour former RT-2. PaLI-X aide le modèle à traiter les données visuelles, formées sur des quantités massives d'images et d'informations visuelles avec d'autres descriptions et étiquettes correspondantes en ligne. Avec PaLI-X, RT-2 peut reconnaître différents objets, comprendre les scènes environnantes pour le contexte et relier les données visuelles aux descriptions sémantiques.

PaLM-E aide RT-2 à interpréter le langage, afin qu'il puisse facilement comprendre les instructions et les relier à ce qui l'entoure et à ce qu'il fait actuellement.

Alors que l'équipe DeepMind a adapté ces deux modèles pour servir de base à RT-2, elle a créé le nouveau modèle VLA, permettant à un robot de comprendre le langage et les données visuelles et de générer ensuite les actions appropriées dont il a besoin.

Le RT-2 n'est pas un robot en soi : c'est un modèle capable de contrôler les robots plus efficacement que jamais. Un robot compatible RT-2 peut effectuer des tâches de différents degrés de complexité en utilisant des données visuelles et linguistiques, comme organiser des fichiers par ordre alphabétique en lisant les étiquettes des documents et en les triant, puis en les rangeant aux bons endroits.

Il pourrait également gérer des tâches complexes. Par exemple, si vous dites : « Je dois envoyer ce colis par la poste, mais je n'ai plus de timbres », RT-2 pourrait identifier ce qui doit être fait en premier, comme trouver un bureau de poste ou un commerçant qui vend des timbres à proximité, prendre le colis et gérer la logistique à partir de là.

"Non seulement RT-2 montre comment les progrès de l'IA se répercutent rapidement sur la robotique, mais il s'avère également extrêmement prometteur pour des robots plus polyvalents", a ajouté Vanhoucke.

Espérons que cette « promesse » vise davantage à vivre l’intrigue des Jetsons que celle de The Terminator.