Modèles multimodaux alignés avec le cerveau pour comprendre les émotions dans les dessins animés
En bref
- Les MLLM évaluent des émotions et la compréhension sociale dans des dessins animés avec une corrélation partielle aux jugements humains.
- Les modèles prédisent partiellement les réponses cérébrales humaines, avec des variations selon le film et le type de modèle.
- Les différences systématiques entre notes humaines et modèles limitent leur alignement complet.
Une étude compare des modèles multimodaux (MLLM) avec des évaluations humaines de compréhension sociale et émotionnelle sur trois dessins animés. Les résultats montrent que les modèles capturent partiellement les variations temporelles humaines, avec des différences systématiques dans les distributions de notes. Leur utilité pour prédire les réponses cérébrales est partiellement validée.
Ce résumé vous donne l'essentiel. L'article complet, ses chiffres et ses citations sont chez cs.AI updates on arXiv.org.
Lire l'article originalRésumé généré par IA à partir de la source, relu par règles. Signaler une erreur