CoTA++ : Résoudre la malédiction de la répétition dans les dMLLMs
En bref
- Les dMLLMs souffrent d'une répétition de tokens due à des caches approximatifs lors du décodage.
- CoTA++ réorganise l'attention et ajuste les prédictions pour limiter ces répétitions.
- Le cadre améliore la fiabilité des caches sans entraînement supplémentaire ni perte de performance.
Les modèles dMLLMs basés sur la diffusion souffrent d'un phénomène de répétition de tokens lors du décodage. CoTA++, un cadre sans entraînement, améliore la fiabilité des caches approximatifs en réorganisant l'attention, en rafraîchissant les états de manière adaptée et en ajustant les prédictions selon l'entropie contextuelle.
Ce résumé vous donne l'essentiel. L'article complet, ses chiffres et ses citations sont chez cs.AI updates on arXiv.org.
Lire l'article originalRésumé généré par IA à partir de la source, relu par règles. Signaler une erreur