SIT-Eval : évaluation interactive des agents conversationnels par situations
En bref
- SIT-Eval évalue les agents conversationnels via des situations simulées et des règles contextuelles précises.
- Les modèles performants en agrégé échouent souvent sur des critères spécifiques comme la clarification d'ambiguïtés.
- Le cadre utilise un juge LLM validé par des dialogues synthétiques humains pour noter les réponses.
SIT-Eval propose un cadre ajustable pour évaluer les agents conversationnels en simulant des situations variées et rares. Contrairement aux benchmarks classiques, il mesure l'adhérence à des règles contextuelles précises plutôt que des performances agrégées. Les tests sur 8 modèles révèlent des lacunes cachées, notamment dans la clarification d'ambiguïtés et les questions socratique.
Ce résumé vous donne l'essentiel. L'article complet, ses chiffres et ses citations sont chez cs.AI updates on arXiv.org.
Lire l'article originalRésumé généré par IA à partir de la source, relu par règles. Signaler une erreur