SpatialScout : les agents VLM peuvent-ils explorer activement des scènes 3D ?
En bref
- SpatialScout évalue la capacité des agents VLM à construire des cartes 3D par exploration autonome.
- Le benchmark contient 80 scènes intérieures et 3 140 objets à localiser.
- Le meilleur modèle testé atteint seulement 41,71 % de score de recouvrement moyen.
Des chercheurs proposent SpatialScout, un benchmark pour évaluer la capacité des agents basés sur des modèles de vision-langage (VLM) à construire des cartes 3D précises par exploration autonome. Selon l'annonce, SpatialScout contient 80 scènes intérieures avec 3 140 objets cibles à localiser. Les agents doivent contrôler une caméra pour explorer chaque scène et estimer les centres des objets dans un repère commun, en respectant des contraintes d'interactions limitées.
Les résultats montrent des limites majeures : le meilleur modèle testé, Claude Opus 5.5, atteint un score moyen de recouvrement de 41,71 %, avec seulement 3,25 % des objets dépassant un seuil d'intersection-sur-union (IoU) de 0,9. SpatialScout offre ainsi un cadre quantitatif pour développer des agents capables de générer des représentations spatiales fiables via une perception active.
Ce résumé vous donne l'essentiel. L'article complet, ses chiffres et ses citations sont chez Hugging Face Daily Papers.
Lire l'article originalRésumé généré par IA à partir de la source, relu par règles. Comment nous rédigeons · Signaler une erreur