SimOPD : Transfert de connaissances relationnelles pour la distillation en ligne
En bref
- SimOPD transfère les connaissances internes des modèles enseignants via des similarités de réponses.
- Utilise des banques mémoire pour extraire des distributions de supervision sans projection croisée.
- Améliore les performances de 2,6 à 3,1 points par rapport aux méthodes existantes.
Une nouvelle méthode, SimOPD, améliore la distillation en ligne en transférant les connaissances internes des modèles enseignants via des similarités de réponses. Elle utilise des banques mémoire pour extraire des distributions de supervision, permettant une meilleure performance sans contrainte d'architecture croisée.
Ce résumé vous donne l'essentiel. L'article complet, ses chiffres et ses citations sont chez cs.AI updates on arXiv.org.
Lire l'article originalRésumé généré par IA à partir de la source, relu par règles. Signaler une erreur