COMET : méthode pour l'apprentissage continu des modèles vision-langage
En bref
- COMET sépare distillation, routage et contrôle de capacité pour l'apprentissage continu des VLM.
- Tri-Affinity Distillation préserve la géométrie image-image, texte-texte et image-texte.
- Un bandit contextuel gère la fusion ou conservation des experts par tâche après entraînement.
Une nouvelle approche, COMET, est proposée pour améliorer l'apprentissage continu des modèles vision-langage (VLM) comme CLIP. Elle sépare la distillation, le routage et le contrôle de capacité pour préserver la cohérence modale et éviter les interférences entre tâches. Les résultats sur le benchmark X-TAIL montrent une amélioration significative des performances.
Ce résumé vous donne l'essentiel. L'article complet, ses chiffres et ses citations sont chez cs.AI updates on arXiv.org.
Lire l'article originalRésumé généré par IA à partir de la source, relu par règles. Signaler une erreur