Évaluation par compétence du raisonnement logique des grands modèles de langage
En bref
- La méthode CBE évalue la capacité des modèles à appliquer une compétence logique de façon fiable sur plusieurs problèmes similaires.
- Les modèles performants échouent souvent à généraliser leur raisonnement face à des variations de formulation.
- Les techniques comme le chain-of-thought ou le GRPO améliorent les résultats sans résoudre tous les échecs.
Les grands modèles de langage (LLM) progressent rapidement, mais leur raisonnement logique reste limité, notamment face à des variations linguistiques. Une nouvelle méthode d'évaluation, la « competence-based evaluation » (CBE), est proposée pour mesurer la capacité des modèles à appliquer une compétence donnée de manière fiable sur une famille de problèmes. Les tests révèlent des faiblesses même chez les modèles avancés.
Ce résumé vous donne l'essentiel. L'article complet, ses chiffres et ses citations sont chez cs.AI updates on arXiv.org.
Lire l'article originalRésumé généré par IA à partir de la source, relu par règles. Signaler une erreur