TAG-Nav : un cadre pour naviguer dans les interfaces mobiles avec mémoire graphique
En bref
- TAG-Nav utilise une mémoire graphique pour guider les agents vers les bonnes pages avant toute tâche spécifique.
- DestBench évalue uniquement la navigation vers la page cible, sans tenir compte des actions ultérieures.
- L'ajout de mémoire graphique améliore significativement le taux de succès de navigation pour plusieurs modèles.
Des agents d'interface utilisateur mobile peuvent percevoir les écrans et exécuter des actions, mais manquent de connaissances persistantes sur la navigation entre applications. TAG-Nav propose un cadre de navigation graphique indépendant de la tâche, utilisant une mémoire des destinations pour guider les agents vers les bonnes pages avant toute instruction spécifique. DestBench, un nouveau protocole, évalue uniquement la capacité à atteindre la bonne page cible.
Ce que ça change pour vous
- Secteur publicLes agents d'interface pourraient automatiser la navigation dans les applications administratives, réduisant les erreurs et accélérant les processus.
- Ressources humainesLes outils de gestion des ressources humaines pourraient bénéficier d'agents capables de naviguer efficacement dans les interfaces RH complexes.
Ce résumé vous donne l'essentiel. L'article complet, ses chiffres et ses citations sont chez cs.AI updates on arXiv.org.
Lire l'article originalRésumé généré par IA à partir de la source, relu par règles. Signaler une erreur