Évaluation des agents de recherche profonde sur le Web réel
En bref
- Création d'un benchmark OpenDS-World pour évaluer les agents de recherche autonome sur le Web réel.
- 200 tâches complexes avec vérification humaine des réponses et des preuves.
- Meilleur modèle atteint 39 % de précision, les humains 21,1 %.
Des chercheurs introduisent le benchmark OpenDS-World pour évaluer les agents capables d'effectuer des recherches approfondies sur le Web ouvert et en temps réel. Selon l'annonce, ce benchmark comprend 200 tâches complexes couvrant divers formats de données et modalités, avec vérification humaine pour valider les réponses.
Les résultats montrent qu'aucun modèle n'atteint 40 % de précision, avec un écart marqué entre les performances des modèles (39,0 % au mieux) et celles des humains (21,1 %). Les analyses révèlent des difficultés persistantes dans la coordination des outils et la gestion de recherches à long terme.
Ce résumé vous donne l'essentiel. L'article complet, ses chiffres et ses citations sont chez Hugging Face Daily Papers.
Lire l'article originalRésumé généré par IA à partir de la source, relu par règles. Comment nous rédigeons · Signaler une erreur