Proxies locaux pour un entraînement neuronal moins gourmand en mémoire
En bref
- Les proxys locaux prédisent les sorties du réseau global via distillation pour réduire la mémoire nécessaire.
- La méthode permet une propagation de gradients indépendante tout en estimant bien les gradients de backpropagation.
- Meilleur compromis précision/mémoire que les algorithmes locaux existants, y compris pour le fine-tuning de LLM.
Une nouvelle méthode d'entraînement local pour les transformers réduit les besoins en mémoire en utilisant des proxys locaux. Ces proxys prédisent les sorties du réseau global via distillation, permettant une propagation de gradients indépendante. Les résultats montrent un meilleur compromis précision/mémoire que les algorithmes locaux existants, y compris pour le fine-tuning de grands modèles de langage.
Ce résumé vous donne l'essentiel. L'article complet, ses chiffres et ses citations sont chez cs.AI updates on arXiv.org.
Lire l'article originalRésumé généré par IA à partir de la source, relu par règles. Signaler une erreur