MGE-PO : attribution de crédit basée sur l'entropie pour le raisonnement mathématique
En bref
- MGE-PO utilise l'entropie de génération et la justesse des réponses pour ajuster les récompenses.
- La méthode améliore les performances de 3,23 à 11,06 points selon les benchmarks testés.
- Testée sur Qwen3-8B et Qwen2.5-7B, avec des gains significatifs après 8 époques d'entraînement.
Une nouvelle méthode, MGE-PO, améliore l'attribution des récompenses dans l'entraînement des modèles de raisonnement mathématique. Elle combine la vérification de la justesse des réponses et l'entropie de génération pour ajuster les bonus et pénalités. Les résultats montrent des gains significatifs sur plusieurs benchmarks après 8 époques d'entraînement.
Ce résumé vous donne l'essentiel. L'article complet, ses chiffres et ses citations sont chez cs.AI updates on arXiv.org.
Lire l'article originalRésumé généré par IA à partir de la source, relu par règles. Signaler une erreur