Une nouvelle méthode pour optimiser le cache des agents LLM
En bref
- Les caches clés-valeurs (KV) des agents LLM deviennent le coût dominant quand les trajectoires s'allongent.
- La méthode *cache engineering* permet de contrôler le cache sans modifier la trajectoire ni relancer un pré-remplissage.
- Une politique *rolling-drop* réduit les coûts de 27,7 % et améliore les scores de 1,7 point en moyenne.
Des chercheurs proposent une approche appelée *cache engineering* pour réduire les coûts liés à la gestion des caches clés-valeurs (KV) des agents basés sur des LLM. Selon l'annonce, ces caches deviennent le principal poste de dépense lorsque les trajectoires d'actions et d'observations s'allongent, dépassant parfois la longueur de contexte maximale des modèles.
Cette méthode permet aux agents de contrôler activement leur cache KV sans modifier la trajectoire ni relancer un pré-remplissage coûteux. Les expériences montrent qu'une politique de cache avec *rolling-drop* améliore les scores moyens de 1,7 point et réduit les coûts de 27,7 % par rapport à une approche classique de résumé déclenché par seuil. L'implémentation AKV permet aussi d'augmenter le débit de sortie jusqu'à 1,2x et de diviser par deux la latence P95 des requêtes.
Ce résumé vous donne l'essentiel. L'article complet, ses chiffres et ses citations sont chez Hugging Face Daily Papers.
Lire l'article originalRésumé généré par IA à partir de la source, relu par règles. Comment nous rédigeons · Signaler une erreur