PersonaCUABench : évaluer les agents informatiques selon les profils utilisateurs
En bref
- PersonaCUABench évalue les agents informatiques en modifiant uniquement le profil de l'utilisateur.
- La réussite des tâches chute de 36 % lorsque les demandes sont reformulées par des personas.
- Seulement 62,7 % des tâches satisfont pleinement l'utilisateur, contre 84,1 % pour les demandes originales.
Un nouveau benchmark, PersonaCUABench, teste les agents informatiques en variant uniquement le profil de l'utilisateur qui donne l'instruction. Les résultats montrent une baisse de 36 % de la réussite des tâches par rapport aux demandes originales, soulignant l'importance d'évaluer la satisfaction des besoins réels des utilisateurs.
Ce résumé vous donne l'essentiel. L'article complet, ses chiffres et ses citations sont chez cs.AI updates on arXiv.org.
Lire l'article originalRésumé généré par IA à partir de la source, relu par règles. Signaler une erreur