GVPO : une nouvelle méthode d'optimisation pour l'entraînement des LLM
En bref
- GVPO propose une solution analytique pour maximiser les récompenses sous contrainte KL dans les LLM.
- La méthode garantit une solution optimale unique et évite les limites des approches comme GRPO.
- Elle permet une distribution d'échantillonnage flexible, sans dépendre de l'on-policy ou de l'importance sampling.
Une équipe propose GVPO, une méthode de post-entraînement des grands modèles de langage (LLM) qui améliore la stabilité et la fiabilité par rapport aux approches existantes comme GRPO. GVPO intègre une solution analytique pour maximiser les récompenses sous contrainte de KL, offrant une solution optimale unique et une flexibilité accrue dans la distribution d'échantillonnage.
Ce résumé vous donne l'essentiel. L'article complet, ses chiffres et ses citations sont chez cs.AI updates on arXiv.org.
Lire l'article originalRésumé généré par IA à partir de la source, relu par règles. Signaler une erreur