LeRobot 0.6.0 : des machines capables d’imaginer l’avenir grâce à Hugging Face

L’apprentissage des robots 🤖  ne craint pas les fortes chaleurs ! Ainsi, Hugging Face déploie depuis cette semaine LeRobot v0.6.0, une mise à jour majeure de son framework open source. Au programme : des IA capables d’imaginer le futur avant d’agir, une CLI de déploiement avec correction humaine en direct, et une intégration cloud simplifiée. Présentation complète.

Non, la conception de robots intelligents n’est pas (ou plus) l’apanage de laboratoires industriels aux infrastructures closes. Quelques semaines après ses premières contributions sectorielles, la communauté centralisée autour de Hugging Face vient de publier une mise à jour majeure de son framework de référence.

L’éditeur déploie la version v0.6.0 de LeRobot, son environnement conçu pour démocratiser la programmation de robots réels à l’aide de PyTorch. Cette itération logicielle ambitionne de boucler la boucle de l’apprentissage machine en introduisant des architectures capables d’anticiper visuellement le résultat de leurs actions avant de les exécuter.

L’intégralité du code source mis à jour est accessible sur le répertoire GitHub de LeRobot, distribué sous la très permissive licence Apache-2.0. Pour les ingénieurs désireux de basculer sur cette version, l’ensemble des guides d’installation et d’intégration logicielle est d’ores et déjà consultable sur la documentation technique de LeRobot.

Comment ça marche ? Grâce à des « modèles de monde »

La rupture technique de cette version v0.6.0 réside dans l’intégration native de politiques basées sur des world models (modèles de monde). L’objectif est de permettre au robot de générer une représentation interne du futur pour guider ses choix moteurs.

Trois approches distinctes font leur entrée sur le site officiel de LeRobot :

• VLA-JEPA : cette architecture s’appuie sur un modèle de vision-langage-action compact (dérivé de Qwen3-VL-2B) entraîné à prédire l’avenir dans un espace latent. Le modèle de monde supervise l’entraînement puis s’efface lors de la phase d’inférence, offrant les bénéfices de cette anticipation sans aucun surcoût de calcul en production.

• LingBot-VA : ce modèle autoregressif prédit conjointement les séquences de blocs vidéo et les actions motrices. Il permet d’enregistrer et de comparer ce que le robot a imaginé par rapport à la réalité des faits constatés.

• FastWAM : cette solution fusionne un expert en génération vidéo de 5 milliards de paramètres avec un expert en action compact au sein d’un unique réseau, permettant à la machine de simuler ses propres trajectoires de manière autonome.

En parallèle, le catalogue de modèles de Hugging Face s’enrichit de l’intégration de GR00T N1.7 de NVIDIA (adossé à Cosmos-Reason2-2B), du framework MolmoAct2 de l’Allen Institute for AI exécutable en mode zéro-shot, ainsi que des modèles légers EO-1 et EVO1 (0,77 milliard de paramètres) taillés pour s’exécuter en temps réel sur des cartes graphiques grand public.

Pour valider l’efficacité de ces nouvelles politiques de contrôle, Hugging Face introduit l’outil lerobot-eval. Cette interface en ligne de commande unifie la gestion et le test des comportements à travers six nouveaux benchmarks de simulation complexes, indispensables pour mesurer la robustesse des modèles face aux perturbations du monde réel.

Cette refonte s’accompagne d’une optimisation majeure de la gestion des données de la communauté Hugging Face dédiée à la robotique. Le chargement des jeux de données vidéo devient jusqu’à deux fois plus rapide grâce au décodage parallèle multi-caméras. De plus, le framework gère désormais nativement les caméras de profondeur (comme la gamme Intel RealSense) en compressant les flux de données au format 12 bits directement de bout en bout. Enfin, l’utilitaire lerobot-annotate permet d’exploiter un modèle de vision pour annoter automatiquement les actions passées en langage naturel.

Pilotage et entraînement dans le cloud

Le déploiement sur matériel réel s’émancipe des anciens scripts de test pour devenir un flux de travail indépendant via la nouvelle commande lerobot-rollout. Cette CLI intègre notamment la stratégie DAgger (Human-in-the-loop). En pratique, l’opérateur observe le robot s’exécuter, reprend instantanément le contrôle manuel via un bras maître dès qu’une déviation se produit pour enregistrer la correction, puis lui redonne la main. Chaque phase de correction humaine alimente directement le jeu de données pour affiner le prochain entraînement.

Pour les modèles dont la taille dépasse la mémoire d’une unique carte graphique, LeRobot prend désormais en charge l’architecture FSDP (Fully Sharded Data Parallel) via la bibliothèque Accelerate, permettant de fragmenter les gradients et les états de l’optimiseur sur plusieurs puces matérielles. Les utilisateurs ne disposant pas de serveurs physiques locaux peuvent également déporter l’intégralité du calcul vers l’infrastructure cloud de Hugging Face via l’argument HF Jobs. Une seule ligne de commande suffit à pousser les données locales, instancier le calcul à la demande et récupérer le modèle finalisé directement sur son espace de stockage.

Pour guider les nouveaux développeurs, les équipes partagent une interface graphique complète baptisée LeLab pour orchestrer l’étalonnage et l’enregistrement sans manipuler de terminal, tandis que les discussions techniques se centralisent sur leur serveur Discord officiel.