TorchTPU : un backend PyTorch natif pour les TPU de Google
En bref
- TorchTPU permet d'exécuter nativement des modèles PyTorch sur les TPU de Google.
- L'intégration supporte l'exécution impérative et réduit les modifications de code à quelques lignes.
- TorchTPU remplace PyTorch/XLA avec des performances améliorées et un cache de compilation optimisé.
Google et Meta annoncent TorchTPU, un backend open source pour exécuter nativement des modèles PyTorch sur les TPU de Google. Selon l'annonce, cette intégration permet une exécution immédiate des modèles et une migration simplifiée vers les TPU, avec des performances comparables à l'industrie pour l'entraînement et l'inférence.
TorchTPU repose sur une collaboration entre Google et Meta, lancée mi-2025. Il remplace l'ancien système PyTorch/XLA, jugé limité par son approche paresseuse et ses contraintes de compilation. Contrairement à ses prédécesseurs, TorchTPU supporte l'exécution impérative (eager mode) native de PyTorch, réduisant les modifications de code à quelques lignes comme le changement de device (.to("cuda") → .to("tpu")).
Cette solution cible les grands clients de Google Cloud utilisant déjà les TPU pour des charges de travail massives. Elle s'appuie sur l'architecture XLA et les TPU, des ASICs optimisés pour les opérations tensorielles. TorchTPU introduit aussi des optimisations pour la précision bfloat16, adaptée aux TPU, et un système de cache de compilation pour accélérer les exécutions répétées.
Ce résumé vous donne l'essentiel. L'article complet, ses chiffres et ses citations sont chez PyTorch Blog.
Lire l'article originalRésumé généré par IA à partir de la source, relu par règles. Comment nous rédigeons · Signaler une erreur