Harness-Delta Attribution : analyser les gains liés à l'évolution des agents IA
En bref
- Harness-Delta Attribution (HDA) sépare les gains des agents IA en trois composantes : overfitting, calcul inférentiel et amélioration généralisable.
- Sur 21 cas testés, 54% des gains viennent de l'overfitting et 14% du calcul supplémentaire, laissant peu de place à une amélioration réelle.
- Les gains observés sur un jeu de données ne se transfèrent souvent pas à d'autres tâches, limitant leur utilité pratique.
Une nouvelle méthode, Harness-Delta Attribution, évalue les gains des systèmes agents optimisés par évolution de leur structure (prompts, outils, orchestration). Elle distingue l'amélioration réelle de l'overfitting ou de l'augmentation du calcul inférentiel. Les résultats montrent que la majorité des gains observés ne se généralisent pas hors du jeu de données d'entraînement.
Ce résumé vous donne l'essentiel. L'article complet, ses chiffres et ses citations sont chez cs.AI updates on arXiv.org.
Lire l'article originalRésumé généré par IA à partir de la source, relu par règles. Signaler une erreur