Éviter la sur-spécification dans les benchmarks de codage
En bref
- Les benchmarks de codage actuels souffrent de sous-spécification (solutions approximatives) ou de sur-spécification (solutions contournant les défis).
- L'ajout d'indices issus des solutions réelles dans les énoncés fausse les résultats et réduit la pertinence des benchmarks.
- Des techniques pour des indices plus sobres sont proposées pour éviter ces biais.
Les benchmarks en IA souffrent de sous-spécification (solutions approximatives) ou de sur-spécification (solutions contournant les défis). Une étude montre que l'ajout d'indices issus des solutions réelles dans les énoncés fausse les résultats. Des techniques pour des indices plus sobres sont proposées.
Ce résumé vous donne l'essentiel. L'article complet, ses chiffres et ses citations sont chez cs.AI updates on arXiv.org.
Lire l'article originalRésumé généré par IA à partir de la source, relu par règles. Signaler une erreur