PyTorch accéléré sur les GPU AMD MI350 avec FlyDSL
En bref
- FlyDSL accélère les opérations matricielles sur les GPU AMD MI350 via PyTorch, avec des gains de 1,10x à 4,82x selon les cas.
- Les noyaux attention et GEMM MXFP8/MXFP4 utilisent des pipelines optimisés pour chevaucher les calculs et gérer les échelles.
- Les performances dépendent des formes de données et des configurations matérielles, avec des tests validés sur vLLM.
PyTorch annonce la prise en charge de FlyDSL pour les GPU AMD MI350-series, permettant d'accélérer plusieurs opérations matricielles via des API existantes. Selon l'éditeur, les gains de performance varient de 1,10x à 4,82x selon les cas d'usage, avec des accélérations jusqu'à 3,01x dans des tests end-to-end sur vLLM.
FlyDSL introduit un modèle de programmation par *layout algebra* pour optimiser les noyaux matériels spécifiques, notamment pour les GEMM denses et groupées, l'attention multi-têtes fusionnée, les opérations MXFP8/MXFP4 et RMSNorm. Les noyaux attention utilisent un pipeline logiciel à double vague pour chevaucher les calculs, tandis que les GEMM MXFP gèrent explicitement les échelles et les accumulations.
Cette optimisation cible principalement les GPU AMD MI350 (architecture gfx950) et complète les implémentations existantes. Les performances dépendent des formes de données et des configurations matérielles, avec des gains mesurés en mode opérateur isolé ou en tests end-to-end.
Ce résumé vous donne l'essentiel. L'article complet, ses chiffres et ses citations sont chez PyTorch Blog.
Lire l'article originalRésumé généré par IA à partir de la source, relu par règles. Comment nous rédigeons · Signaler une erreur