Sep-Latent : des tokens séparateurs pour optimiser le raisonnement implicite des LLMs
En bref
- Sep-Latent utilise des tokens séparateurs comme ancres sémantiques pour le raisonnement implicite.
- La méthode réduit la verbosité à 5,4 tokens en moyenne tout en atteignant 56,8% de précision sur GSM8k-Aug.
- Un mécanisme de distillation multi-niveaux garantit la cohérence logique entre raisonnement explicite et implicite.
Une nouvelle méthode, Sep-Latent, améliore l'efficacité des modèles de langage en compressant le raisonnement implicite dans des tokens séparateurs. Elle réduit la verbosité tout en maintenant une précision proche des approches explicites comme le Chain-of-Thought.
Ce résumé vous donne l'essentiel. L'article complet, ses chiffres et ses citations sont chez cs.AI updates on arXiv.org.
Lire l'article originalRésumé généré par IA à partir de la source, relu par règles. Signaler une erreur