PAR : une méthode pour généraliser le suivi d'état dans les modèles récurrents
En bref
- PAR aligne les prédictions intermédiaires sur les opérations réelles pour améliorer la généralisation en longueur.
- Un modèle Qwen2.5-0.5B atteint 95,5 % de précision sur des séquences 16 fois plus longues que l'entraînement.
- L'ancrage de la norme et la distillation par préfixe réduisent les erreurs d'extrapolation.
Des chercheurs proposent Progress-Aligned Recurrence (PAR), une méthode pour améliorer la généralisation en longueur des modèles récurrents lors du suivi d'état séquentiel. Selon l'annonce, PAR entraîne le modèle à prédire l'état après k itérations en alignant ces prédictions sur les opérations réelles, tout en normalisant les états récurrents à leur norme initiale. D'après les tests, un modèle Qwen2.5-0.5B formé sur des séquences de 32 mouvements atteint 95,5 % de précision sur des séquences de 512 mouvements, soit 16 fois la longueur d'entraînement.
Les résultats montrent que l'ancrage de la norme réduit le facteur d'extrapolation de 16 à moins de 2,2, tandis que le remplacement des cibles alignées par une supervision finale limite ce facteur à 8. PAR permet aussi de sélectionner le moment de réponse sans profondeur de coupure fournie, et la distillation par préfixe induit la correspondance entre préfixes courts et réponses finales en l'absence d'étiquettes intermédiaires.
Ce résumé vous donne l'essentiel. L'article complet, ses chiffres et ses citations sont chez Hugging Face Daily Papers.
Lire l'article originalRésumé généré par IA à partir de la source, relu par règles. Comment nous rédigeons · Signaler une erreur