Skild AI S1 : le cerveau de robot qui apprend en regardant une seule vidéo

Un robot qui apprend un geste nouveau rien qu'en regardant quelqu'un le faire, comme tu apprendrais une recette en suivant une vidéo de cuisine. C'est ce que viennent d'officialiser Skild AI et NVIDIA : le modèle S1 de Skild, un cerveau de robot entraîné sur l'infrastructure du fondeur, exécute des tâches jamais vues, guidé uniquement par une vidéo de démonstration. Le billet publié ce jeudi sur le blog du fondeur met des chiffres concrets derrière la promesse.

Derrière l'effet d'annonce, il y a un vrai sujet : apprendre à un robot une nouvelle tâche demande d'habitude des semaines de collecte de données et de réentraînement. Si ce paradigme tient, ce coût s'effondre. Voyons ce qui change concrètement.

Un robot qui regarde et qui exécute

La mécanique tient en une phrase : un opérateur filme la tâche, la vidéo est glissée dans le contexte du modèle, et le robot la reproduit sur la scène devant lui. Pas de mise à jour des poids, pas de réentraînement spécifique. Les chercheurs appellent ça l'apprentissage en contexte, le même principe que quand tu écris une consigne à ChatGPT sans jamais recycler le modèle. Pour un robot, la consigne n'est pas du texte mais une vidéo.

S1 est un modèle fondation : un modèle unique, entraîné une fois sur des masses de données, capable ensuite d'enchaîner des tâches très différentes. Les exemples montrés par Skild durent jusqu'à dix minutes : rempoter une plante, préparer des pancakes, faire un café filtre, assembler un kit. Des dizaines de gestes à la suite, dans un ordre jamais vu pendant l'entraînement. Lors d'un test de rempotage, onze minutes ont suffi entre la démonstration filmée et l'exécution autonome. Et si un objet bouge en cours de route, le modèle s'adapte et rattrape ses erreurs.

Cette idée d'un robot qui gagne en autonomie de raisonnement, Google la pousse aussi avec Gemini Robotics, dont on détaillait le raisonnement renforcé début août.

Source : NVIDIA Blog , billet d’annonce de la collaboration Skild AI.

Des chiffres qui donnent une idée du saut

Sur des tâches inédites en plusieurs étapes, Skild annonce environ 66 % de gestes réussis par étape pour S1, contre 9 % pour un système comparable. Des chiffres d'annonce publiés par l'entreprise elle-même, mais l'écart reste d'un facteur sept. Selon Skild, une seule vidéo de démonstration vaudrait environ 380 exemples collectés à la main, un travail qui prendrait entre 50 et 100 heures à un humain.

Côté business, Skild revendique 100 millions de dollars de revenus annualisés dix mois après sa première mise en service, et plus de 60 partenariats de déploiement, de l'usine à la logistique. Chez Foxconn, le cerveau Skild équipe déjà des bras robots qui assemblent des systèmes NVIDIA Blackwell : pose de pièces, serrage de 16 vis et gestion des imprévus pendant la tâche.

Ce que NVIDIA apporte

La partie nouvelle de l'annonce du jour, c'est la coulisse. Pour entraîner un tel modèle, il faut des montagnes de données : vidéos humaines, téléopération (un humain qui pilote le robot à distance) et surtout de la simulation, des environnements virtuels où le robot répète des milliers de fois sans risque. NVIDIA fournit la panoplie : Cosmos transforme les vidéos en données d'entraînement structurées, Isaac Sim et Omniverse créent les environnements virtuels, et Isaac Lab, appuyé sur le moteur physique Newton, gère l'apprentissage par renforcement avec des forces, des collisions et des contacts modélisés.

Les deux sociétés co-développent aussi des solveurs de simulation accélérés par GPU, des moteurs de calcul qui modélisent comment un robot touche, attrape et manipule des objets solides. Ils seront bientôt ouverts à tous les développeurs dans Newton. La course au cerveau de robot universel devient aussi une course d'infrastructure, comme pour les grands modèles de langage.

Pas encore dans nos maisons

Restons honnêtes : près d'un geste sur trois échoue encore sur les tâches inédites, et le PDG de Skild AI, Deepak Pathak, l'assume volontiers. Interrogé par The Robot Report, il rappelle que la robotique n'est pas encore à son moment ChatGPT et que les foyers ne sont pas pour demain. S1 équipe d'abord des partenaires industriels, avant un déploiement plus large promis dans les mois qui viennent. Skild a levé près de 1,7 milliard de dollars depuis sa création en 2023, d'après The Robot Report.

La grille de lecture reste celle des modèles de langage : avant ChatGPT, il fallait recycler un modèle pour chaque usage ; l'apprentissage en contexte a fait sauter cette étape. Skild parie que la même bascule se produit pour les bras articulés : la vidéo devient le prompt, la démonstration humaine devient l'interface. La suite est annoncée : dans les semaines qui viennent, Skild montrera S1 en production réelle. Sur un sujet aussi jeune, c'est là qu'il faudra regarder.

Et si tu veux te faire une idée de ce qui existe déjà côté robotique abordable, on avait testé Microduck, le robot bipède à 399 € que tu peux entraîner toi-même.

Sources

NVIDIA Blog , le billet d'annonce de la collaboration Skild AI et NVIDIA, avec les chiffres de déploiement.

Skild AI , la présentation technique de S1 par l'équipe, avec la chronologie des travaux.

The Robot Report , l'interview du PDG Deepak Pathak sur S1 et ses limites.

—

Recherche, relecture et illustration assistées par IA. Le contenu reflète le travail éditorial de la rédaction.