Google DeepMind vient de publier Gemini Robotics ER 2, un modèle de vision et de raisonnement conçu pour les systèmes robotiques. Pas un modèle qui pilote directement un bras mécanique, mais une couche de décision capable d’observer une scène, de décomposer une tâche, d’appeler des outils et de vérifier si l’action demandée a réellement été accomplie.
Le modèle est disponible en preview publique dans Gemini API et Google AI Studio. La nuance compte : il s’agit d’un outil pour développeurs, pas d’un robot prêt à l’emploi qu’il suffirait de brancher dans un entrepôt ou un salon.
Gemini Robotics ER 2, c’est quoi exactement ?
Le sigle ER signifie *Embodied Reasoning*, ou raisonnement incarné. L’idée est de faire travailler un modèle sur un environnement physique : objets, positions, déplacements, progression d’une tâche et contraintes de sécurité.
Gemini Robotics ER 2 est un VLM, pour *Vision-Language Model*. Un VLM analyse des images, des vidéos et des consignes textuelles pour produire une réponse ou un plan. Dans l’architecture présentée par Google, ER 2 joue le rôle du niveau de raisonnement. L’exécution motrice est ensuite confiée à un autre composant, par exemple un modèle VLA — *Vision-Language-Action* — ou une API de navigation.
Cette séparation est importante. ER 2 ne remplace pas à lui seul le contrôleur bas niveau d’un robot. Il reçoit des entrées multimodales, raisonne sur les étapes nécessaires, orchestre les outils disponibles et transmet des décisions au système chargé de bouger réellement la machine.
Le modèle accepte du texte, des images, de la vidéo et de l’audio. Google annonce également la prise en charge de l’appel de fonctions, de l’exécution de code, de la recherche et du contexte URL. Dans la documentation Gemini, la version `gemini-robotics-er-2-preview` dispose d’une fenêtre de contexte de 131 072 tokens en entrée et de 65 536 tokens en sortie.
Le vrai progrès : suivre une tâche au lieu de réagir image par image
La nouveauté la plus intéressante n’est pas la capacité à reconnaître une tasse ou une boîte. Les modèles visuels savent déjà identifier beaucoup d’objets. Le problème devient plus compliqué dès qu’une tâche s’étale dans le temps et qu’une étape peut échouer.
Google présente ER 2 comme un modèle capable de suivre la progression d’une action à partir d’un flux vidéo continu. Il peut estimer où en est une tâche, repérer un événement important et décider s’il faut passer à l’étape suivante, corriger le plan ou recommencer.
Dans l’exemple donné par Google, le modèle peut déterminer le moment où une action critique se produit : arrêter de verser un liquide, vérifier qu’une ampoule est correctement serrée ou confirmer qu’un sac est noué. Ce suivi temporel évite de traiter chaque image comme une requête isolée sans mémoire de ce qui vient de se passer.
Google publie deux chiffres pour illustrer cette capacité. Sur son évaluation de classification de progression, ER 2 atteint 57,4 % de précision. Sur la recherche du moment précis où un événement se produit dans une vidéo, Google annonce 91,3 % de précision et une distance absolue moyenne de 0,96 seconde. Ces résultats viennent des évaluations de Google : ils donnent une indication, pas une garantie de performance dans n’importe quel robot ou environnement.
Visuel source : Google DeepMind, « Introducing Gemini Robotics ER 2 » — https://blog.google/innovation-and-ai/models-and-research/google-deepmind/gemini-robotics-er-2/
Une couche d’orchestration pour des robots très différents
Google ne présente pas ER 2 comme un cerveau lié à un seul modèle de robot. Le système peut utiliser des interfaces de contrôle déclarées comme des outils : modèle VLA, API de navigation ou autre fonction métier.
Cette approche permet d’imaginer un même niveau de raisonnement connecté à des machines différentes. Un robot mobile peut gérer la navigation, un bras industriel la manipulation et un opérateur humain la téléopération. ER 2 coordonne les étapes en fonction des capacités exposées par chaque outil.
Google montre aussi un scénario avec Spot, le robot quadrupède de Boston Dynamics. Dans cette démonstration, ER 2 interprète une commande en langage naturel et orchestre les API de navigation et de manipulation de Spot pour aller chercher un objet.
La collaboration entre plusieurs robots fait partie des autres axes mis en avant. Google indique que des machines différentes peuvent partager une représentation sémantique de la tâche et se répartir le travail. Cela peut intéresser des environnements où un seul robot ne possède pas toutes les capacités nécessaires, mais cette promesse dépend évidemment de la qualité des contrôleurs et des interfaces de chaque machine.
Google met aussi l’accent sur la sécurité
Un modèle qui raisonne sur le monde physique ne peut pas être évalué uniquement sur sa capacité à suivre une instruction. Il doit aussi savoir quand ne pas agir.
Google affirme avoir amélioré ER 2 sur le respect des consignes de sécurité et la détection de la présence humaine. Dans un scénario présenté par l’entreprise, le système arrête un humanoïde lorsqu’une personne s’approche, puis ne reprend le travail qu’une fois la zone dégagée.
Cela ne transforme pas le modèle en dispositif de sécurité certifié. Le modèle card de Gemini Robotics ER 2 précise que son usage n’est pas destiné aux applications critiques dans lesquelles une panne pourrait provoquer des blessures, des dégâts matériels ou la mort. Google demande également une supervision et des protocoles adaptés avant tout usage commercial ou public.
Cette limite est essentielle. Un modèle de raisonnement peut se tromper sur une distance, une occlusion, une consigne ambiguë ou l’état réel d’un objet. La sécurité doit donc rester une propriété de l’ensemble du système : capteurs, contrôleur, arrêt d’urgence, logiciel, environnement et opérateur humain.
Comment tester Gemini Robotics ER 2 ?
La version `gemini-robotics-er-2-preview` est accessible aux développeurs via Gemini API et Google AI Studio. Google propose également une version orientée streaming, `gemini-robotics-er-2-streaming-preview`, avec des capacités différentes, notamment autour de la Live API.
Le modèle peut être testé sans posséder immédiatement un robot. Les entrées peuvent contenir du texte, des images, de la vidéo ou de l’audio, et la sortie est textuelle. Cela permet de travailler sur la planification, l’analyse de progression ou l’orchestration d’outils dans une simulation.
Pour passer à une machine réelle, il faut ensuite relier la sortie du modèle à des interfaces de contrôle concrètes. C’est là que les difficultés commencent : calibration, latence, gestion des erreurs, perte de connexion, limites mécaniques, sécurité des personnes et validation des décisions. Une démo convaincante ne supprime aucune de ces contraintes.
Le choix de Google est néanmoins intéressant. En séparant le raisonnement de l’exécution motrice, l’entreprise propose une brique qui peut être branchée sur plusieurs architectures robotiques. Reste à voir comment cette couche se comportera hors des scénarios préparés par son éditeur et avec des robots moins bien instrumentés que ceux des démonstrations officielles.
ER 2 est prometteur, mais le robot généraliste n’est pas encore livré
Gemini Robotics ER 2 marque une évolution crédible du rôle des modèles multimodaux dans la robotique. Le modèle ne se limite plus à répondre à une image : il tente de suivre une tâche, d’appeler des outils, de coordonner plusieurs acteurs et de vérifier le résultat.
Mais le communiqué de Google ne doit pas être lu comme l’annonce d’un robot domestique autonome disponible demain. ER 2 reste une preview, ses performances sont rapportées par Google, et son déploiement réel dépend d’une pile matérielle et logicielle complète.
Pour les chercheurs, les startups et les développeurs qui travaillent déjà sur la robotique, l’accès public à cette brique va permettre de tester des architectures plus ambitieuses. Pour les autres, le bon réflexe est de commencer par la simulation et de traiter chaque démonstration comme un point de départ, pas comme une preuve de fiabilité industrielle.
Le robot qui comprend enfin ce qu’on lui demande n’est peut-être plus très loin. Celui qui sait quand il doit refuser de bouger, lui, reste le vrai examen de passage.
---
Sources :
- Google DeepMind, « Introducing Gemini Robotics ER 2 » — https://blog.google/innovation-and-ai/models-and-research/google-deepmind/gemini-robotics-er-2/
- Google AI for Developers, documentation du modèle `gemini-robotics-er-2-preview` — https://ai.google.dev/gemini-api/docs/models/gemini-robotics-er-2-preview
- Google DeepMind, fiche modèle Gemini Robotics ER 2 — https://deepmind.google/models/model-cards/gemini-robotics-er-2/
Recherche, relecture et illustration assistées par IA. Le contenu reflète le travail éditorial de la rédaction.
No comments yet