Apprentissage par renforcement multi-étapes sur Amazon SageMaker AI

Amazon SageMaker AI propose une méthode d'apprentissage par renforcement multi-étapes (MTRL) pour entraîner des modèles sur des tâches séquentielles complexes. Selon l'annonce, cette approche forme des agents à accomplir des actions enchaînées, comme remplir un rapport de dépenses, où chaque étape dépend des précédentes. Contrairement à l'apprentissage supervisé ou au renforcement classique, le MTRL évalue la réussite globale de la séquence plutôt que des étapes isolées.

Le guide pratique utilise Wordle comme exemple pédagogique pour illustrer le pipeline complet. L'agent, hébergé sur Amazon Bedrock AgentCore, interagit avec l'environnement Wordle via des outils dédiés et reçoit un retour unique à la fin de chaque partie. Le modèle de base, gpt-oss-20b, passe d'un taux de réussite de 61 % à 84 % sur des mots inédits, avec un coût d'environ 339 $ pour 105 486 parties en 12 heures 40 minutes. Le système repose sur des rôles IAM spécifiques et des variables d'environnement pour contrôler l'effort de raisonnement du modèle.

Ce cadre s'applique à des workflows internes spécifiques, distincts des tâches publiques. Le coût dépend du nombre de tokens et de la longueur des séquences, avec une tarification séparée pour l'infrastructure d'agent. Le code et les données restent dans le compte AWS de l'utilisateur, sans contribution aux modèles de base.