ToPA : Adaptation par matrices de Toeplitz par blocs pour un fine-tuning efficace
En bref
- ToPA utilise des matrices de Toeplitz par blocs pour un fine-tuning paramètre-efficace.
- La méthode améliore l'expressivité et stabilise les gradients par rapport aux approches existantes.
- Validée sur 21 jeux de données NLP et CV avec 5 architectures de modèles.
Cette étude propose ToPA, une méthode de fine-tuning paramètre-efficace basée sur des matrices de Toeplitz par blocs. Elle améliore l'expressivité et la stabilité du gradient par rapport aux approches existantes, tout en réduisant les contraintes de rang ou de parcimonie. Les résultats sur 21 jeux de données NLP et CV confirment son efficacité.
Ce résumé vous donne l'essentiel. L'article complet, ses chiffres et ses citations sont chez cs.AI updates on arXiv.org.
Lire l'article originalRésumé généré par IA à partir de la source, relu par règles. Signaler une erreur