Hugging Face intègre le support natif des TPU pour PyTorch
En bref
- TorchTPU ajoute un backend natif pour exécuter PyTorch sur TPU sans solution intermédiaire.
- Transformers et Diffusers de Hugging Face supportent désormais les TPU avec device_map="tpu".
- Les gains de performance atteignent jusqu'à 21,5 fois plus rapide pour certains modèles à grande échelle.
Hugging Face annonce TorchTPU, un backend natif pour PyTorch qui permet d'exécuter des modèles directement sur des TPU, sans passer par des solutions intermédiaires comme PyTorch/XLA ou JAX.
TorchTPU ajoute TPU comme un périphérique standard dans PyTorch, avec des noyaux optimisés (Pallas) et une intégration à torch.compile pour améliorer les performances. Les bibliothèques Transformers et Diffusers de Hugging Face prennent désormais en charge les TPU, permettant de charger un modèle avec device_map="tpu" et de l'exécuter en mode eager ou compilé. Les modèles trop volumineux pour un seul TPU peuvent être répartis via TensorParallelConfig, et des noyaux prêts à l'emploi sont disponibles sur le Kernels Hub.
Cette intégration simplifie le déploiement des modèles Hugging Face sur TPU, notamment pour l'inférence et l'entraînement à grande échelle. Les tests montrent des gains de performance significatifs, comme un décodage 21,5 fois plus rapide pour Qwen3-30B-A3B à taille de lot 64. Hugging Face publie également un tableau de bord CI pour suivre les résultats des tests sur TPU, avec 96,5 % de succès actuellement.
Ce résumé vous donne l'essentiel. L'article complet, ses chiffres et ses citations sont chez Hugging Face - Blog.
Lire l'article originalRésumé généré par IA à partir de la source, relu par règles. Comment nous rédigeons · Signaler une erreur