TraceTrial-Bench : un benchmark pour évaluer la fiabilité des infrastructures d'agents IA
En bref
- TraceTrial-Bench évalue la fiabilité des infrastructures (harnesses) des agents IA, un angle peu exploré jusqu'ici.
- Le benchmark propose 95 tâches expertes avec des vérités terrain exécutables ou basées sur l'état pour des comparaisons précises.
- Les résultats montrent des scores de fiabilité allant de 59,8 % à 72,0 % selon les infrastructures testées.
Des chercheurs présentent TraceTrial-Bench, un benchmark conçu pour évaluer la fiabilité des infrastructures (harnesses) des agents IA, un aspect peu couvert par les benchmarks existants. Selon l'annonce, ce benchmark décompose la fiabilité en sept composantes : contexte, exécution, gouvernance, cycle de vie, observabilité, outils et vérification. Il propose 95 tâches expertes avec des vérités terrain exécutables ou basées sur l'état pour comparer les infrastructures sans altérer leur comportement naturel. Un module de traçage des trajectoires et un cadre d'évaluation en deux couches permettent d'analyser séparément la performance des agents et la fiabilité des infrastructures.
TraceTrial-Bench inclut aussi un module d'acquisition de preuves multi-sources et un module d'attribution des échecs pour identifier les causes au niveau des exécutions. Les résultats sur 3 420 exécutions montrent des scores de fiabilité d'infrastructure allant de 59,8 % à 72,0 %, avec 31,1 % des exécutions réussies malgré un échec sur au moins un critère d'infrastructure. Ce benchmark offre une base auditable et reproductible pour comparer les infrastructures, diagnostiquer leurs défaillances et étudier leur interaction avec les modèles.
Ce résumé vous donne l'essentiel. L'article complet, ses chiffres et ses citations sont chez Hugging Face Daily Papers.
Lire l'article originalRésumé généré par IA à partir de la source, relu par règles. Comment nous rédigeons · Signaler une erreur