RLVR : des fenêtres de rollout longues sont-elles nécessaires ?
En bref
- Le CCR permet de traiter plusieurs problèmes simultanément avec un budget partagé.
- Réduction de 82% des tokens utilisés pour l'entraînement sur des modèles de 4B.
- La qualité des réponses est préservée malgré des fenêtres de rollout plus courtes.
Cette étude explore une méthode pour réduire les coûts des fenêtres de rollout longues en apprentissage par renforcement avec récompenses vérifiables (RLVR). Elle propose le Concurrent Constraint Reinforcement (CCR), qui permet de traiter plusieurs problèmes simultanément avec un budget partagé, tout en conservant la qualité des réponses. Les résultats montrent une réduction significative des tokens utilisés sans perte de performance.
Ce résumé vous donne l'essentiel. L'article complet, ses chiffres et ses citations sont chez cs.AI updates on arXiv.org.
Lire l'article originalRésumé généré par IA à partir de la source, relu par règles. Signaler une erreur