Entraînement de Qwen3 sur AWS Trainium avec TorchTitan

AWS annonce un guide pour entraîner le modèle Qwen3 sur ses puces Trainium via TorchTitan, en trois configurations distinctes sur une seule instance trn2.48xlarge. Selon l'éditeur, les utilisateurs peuvent exploiter le backend Hugging Face Transformers v5, la version native de Qwen3 dans TorchTitan, ou des noyaux MoE optimisés par NKI, tout en conservant la même structure de lancement et de configuration.

Le tutoriel détaille les étapes pour configurer chaque méthode : utilisation d'AutoModelForCausalLM avec des poids publiés, bascule vers l'implémentation native de Qwen3 dans TorchTitan, ou intégration de noyaux MoE via l'interface NKI. Les exemples incluent des commandes torchrun, des ajustements de configuration et des vérifications de perte initiale pour valider le chargement des poids. Les poids exportés restent compatibles avec Hugging Face, confirmant leur intégrité après entraînement.

Cette approche simplifie l'entraînement de modèles Qwen3 sur Trainium, en offrant des options adaptées aux besoins de personnalisation ou de performance. Les utilisateurs doivent vérifier les versions logicielles et les dépendances pour reproduire les exemples, avec des ajustements possibles entre les versions de TorchTitan.