Amélioration de GRPO pour l'alignement de sécurité des grands modèles de raisonnement
En bref
- GRPO présente deux faiblesses majeures pour l'alignement de sécurité des LRM : effondrement des avantages et diversification des comportements non sûrs.
- Beacon combine filtrage des trajectoires et supervision de référence pour restaurer les signaux d'apprentissage de sécurité.
- Les résultats montrent une réduction de 32,83 points des erreurs de sécurité sur huit benchmarks.
Des chercheurs proposent Beacon, une méthode pour renforcer la sécurité des grands modèles de raisonnement (LRM) face aux sorties dangereuses. Leur approche corrige deux faiblesses de GRPO : l'effondrement des avantages et la diversification des comportements non sûrs. Les tests sur huit benchmarks montrent une réduction des erreurs de sécurité de 32,83 points en moyenne.
Ce résumé vous donne l'essentiel. L'article complet, ses chiffres et ses citations sont chez cs.AI updates on arXiv.org.
Lire l'article originalRésumé généré par IA à partir de la source, relu par règles. Signaler une erreur