GlobeBench : un benchmark pour évaluer les modèles de monde textuels
En bref
- GlobeBench évalue 1 632 tâches sur cinq domaines pour tester les modèles de monde textuels.
- Les performances chutent à 5,1% quand les actions impactent plusieurs objets dépendants.
- 631 tâches restent non résolues par tous les modèles, révélant un écart majeur.
GlobeBench propose un benchmark de 1 632 tâches pour évaluer les capacités des modèles de monde textuels à simuler des environnements complexes. Les résultats montrent des limites majeures, notamment une chute drastique des performances lorsque les actions affectent plusieurs objets. Aucun modèle ne résout 631 tâches, révélant un écart significatif dans les capacités générales des LLM.
Ce résumé vous donne l'essentiel. L'article complet, ses chiffres et ses citations sont chez cs.AI updates on arXiv.org.
Lire l'article originalRésumé généré par IA à partir de la source, relu par règles. Signaler une erreur