Réduction des fuites de données privées dans les LLM par élagage de neurones
En bref
- JEPA-Prune élimine les neurones mémorisant des données privées sans retraining.
- Pruner 1,6% des neurones réduit jusqu'à 7,4x l'inférence de PII.
- La perplexité sur les textes non vus reste proche du modèle original.
Une nouvelle méthode, JEPA-Prune, permet de limiter les fuites de données privées lors du fine-tuning des grands modèles de langage. Elle identifie et élimine les neurones responsables de la mémorisation d'informations personnelles sans dégrader les performances globales.
Ce résumé vous donne l'essentiel. L'article complet, ses chiffres et ses citations sont chez cs.AI updates on arXiv.org.
Lire l'article originalRésumé généré par IA à partir de la source, relu par règles. Signaler une erreur