ToMStories : évaluer la théorie de l'esprit des modèles de langage
En bref
- ToMStories teste l'inférence des états psychologiques (émotions, motivations) dans des récits synthétiques.
- Les modèles de 1B à 72B paramètres atteignent un niveau humain en questions à choix multiples.
- Les performances chutent sur les questions ouvertes, révélant des limites dans l'interprétation implicite.
Une étude introduit ToMStories, un jeu de données de 6 000 récits synthétiques évaluant la capacité des modèles de langage à inférer les états psychologiques implicites ou explicites des personnages. Les résultats montrent que les plus grands modèles rivalisent avec l'humain sur des questions à choix multiples, mais échouent sur les réponses ouvertes.
Ce résumé vous donne l'essentiel. L'article complet, ses chiffres et ses citations sont chez cs.AI updates on arXiv.org.
Lire l'article originalRésumé généré par IA à partir de la source, relu par règles. Signaler une erreur