TorchTitan : mises à jour majeures pour l'entraînement IA à grande échelle
En bref
- TorchTitan ajoute le support de modèles SOTA comme Qwen3-VL, DeepSeek-V4 et Kimi K3 avec intégration native PyTorch.
- Nouveau module TitanRL pour l'entraînement de modèles agentiques avec garanties de correction (mode batch-invariant).
- Optimisations majeures pour les modèles MoE : noyaux accélérés, gestion mémoire fine et outils comme local_compile ou torch_remat.
TorchTitan, plateforme native PyTorch pour l'entraînement et l'expérimentation rapide de modèles génératifs, annonce des améliorations significatives après un an de développement. Selon l'équipe, ces avancées incluent le support de nouveaux modèles de pointe, des gains de performance à l'échelle et l'ajout d'un module de reinforcement learning (TitanRL).
Les nouveautés détaillées couvrent l'intégration native de modèles comme Muse Spark Open, Qwen3-VL, DeepSeek-V4 ou Kimi K3, avec des optimisations pour le parallélisme 5D et des noyaux spécialisés (Gated DeltaNet, Kimi Delta Attention). TitanRL permet désormais d'entraîner des modèles agentiques avec des garanties de correction, comme le mode batch-invariant pour des probabilités logiques identiques entre générateur et entraîneur. Les performances sont boostées pour les modèles MoE grâce à des noyaux optimisés, une gestion mémoire fine et des outils comme local_compile ou torch_remat.
Ces évolutions renforcent la simplicité et la réutilisabilité de TorchTitan, déjà adopté par plusieurs projets écosystémiques. La plateforme sert aussi de banc d'essai pour les nouvelles fonctionnalités de communication de PyTorch, avec des tests validés sur des benchmarks comme MLPerf ou des tâches de long contexte.
Ce résumé vous donne l'essentiel. L'article complet, ses chiffres et ses citations sont chez PyTorch Blog.
Lire l'article originalRésumé généré par IA à partir de la source, relu par règles. Comment nous rédigeons · Signaler une erreur