Nouvelle méthode d'allocation de budget pour l'optimisation des recherches arborescentes des LLM
En bref
- Les recherches arborescentes des LLM gaspillent des ressources en explorant des chemins redondants.
- La dispersion sémantique des actions sœurs permet d'estimer la redondance future et d'ajuster le budget.
- Jusqu'à 90 % de tokens et 9 fois moins de latence sont économisés sans perte de précision.
Une étude propose une approche pour réduire le gaspillage de ressources dans les recherches arborescentes des grands modèles de langage. En analysant la dispersion sémantique des actions sœurs, elle permet d'ajuster dynamiquement le budget alloué à chaque étape, réduisant ainsi jusqu'à 90 % l'usage de tokens et jusqu'à 9 fois la latence sans perte de précision.
Ce résumé vous donne l'essentiel. L'article complet, ses chiffres et ses citations sont chez cs.AI updates on arXiv.org.
Lire l'article originalRésumé généré par IA à partir de la source, relu par règles. Signaler une erreur