Ropedia W0 : un modèle de monde pour la loco-manipulation multi-embodiments

Des chercheurs présentent Ropedia W0, un modèle de monde pour agents incarnés capable de modéliser conjointement la locomotion et la manipulation à travers des embodiments humains et robotiques variés. Selon l'annonce, l'équipe a constitué Xp-Data, une base de 10 000 heures de données humaines et 3 000 heures de données robotiques, avec des annotations multimodales unifiées et un contrôle qualité systématique. Le modèle utilise une représentation cinématique unifiée pour encoder la locomotion via des poses de caméra et la manipulation via des squelettes projetés, combinant cinématique avant pour les robots et annotations manuelles de points clés pour les squelettes.

Ropedia W0 atteint des performances de pointe sur cinq benchmarks inter-embodiments (DreamDojo, Ψ_0, ω-HOME, Xp-Teleop et AgiBot) ainsi que sur des vidéos égocentriques humaines non vues, avec des améliorations notables après pré-entraînement sur des données humaines. Après distillation, le modèle permet des simulations en temps réel de plusieurs minutes, ouvrant la voie à des interactions en réalité virtuelle et à des applications en planification basée sur des modèles et en évaluation de politiques pour la prise de décision incarnée.