Autoencodeurs parcimonieux pour réduire l'oubli catastrophique en apprentissage continu
En bref
- SAGA utilise des autoencodeurs parcimonieux pour créer des contraintes géométriques locales en apprentissage continu.
- La méthode réduit la dérive des représentations tout en préservant la plasticité des modèles.
- Gains de 3 à 12 points de précision sur trois benchmarks avec des ViT-B/16 pré-entraînés.
Des chercheurs proposent SAGA, une méthode utilisant des autoencodeurs parcimonieux pour limiter la dérive des représentations en apprentissage continu supervisé. Les contraintes géométriques locales induites améliorent la stabilité sans sacrifier la plasticité. Les résultats montrent des gains significatifs sur trois benchmarks avec des modèles ViT-B/16 pré-entraînés.
Ce résumé vous donne l'essentiel. L'article complet, ses chiffres et ses citations sont chez cs.AI updates on arXiv.org.
Lire l'article originalRésumé généré par IA à partir de la source, relu par règles. Signaler une erreur