ThinkingBox transforme les vérifications de base de données en récompenses RL pour agents

Microsoft présente ThinkingBox-Training, une méthode post-entraînement pour agents IA utilisant des vérifications exécutables de l'état final d'une base de données comme signaux de récompense. Selon l'annonce, cette approche a permis d'améliorer les performances de Qwen3.8-27B sur des tâches hors du benchmark ThinkingBox-Bench : le taux de réussite moyen est passé de 51,70 % à 60,78 %, et le nombre de tâches réussies sur les 20 tentatives est passé de 38 à 107 après 50 étapes de GRPO.

ThinkingBox-Bench évalue les agents en lançant un backend réel et en vérifiant l'état final de la base de données, indépendamment des appels d'outils effectués. Les 507 tâches du benchmark simulent des scénarios concrets comme la gestion de réservations ou de tickets clients. L'équipe a utilisé les résultats exécutables de ces tâches pour construire un pool d'entraînement adapté, en sélectionnant des tâches dont la difficulté est relative à la politique actuelle du modèle. Les gains observés montrent une amélioration de la fiabilité répétée, avec une légère baisse de la couverture globale.

Les résultats soulignent que la répétabilité (tâches réussies sur toutes les tentatives) est un critère clé pour la production, distinct de la performance moyenne. Le modèle fine-tuné réduit le coût estimé par tâche fiable à 8 $, se rapprochant de modèles plus grands comme GPT-5.4 ou Claude Opus 5.5, tout en restant moins coûteux à servir.