FuTransformer : optimisation FP8 et INT4 pour l'inférence Llama sur GPUs Hopper
En bref
- Implémentation CUDA optimisée pour les Transformers Llama sur GPUs Hopper.
- Préremplissage en FP8 et décodage en INT4 avec gains jusqu'à 2,18x vs PyTorch.
- Réduction de la perplexité de 7,23 à 6,99 avec GPTQ en format INT4.
FuTransformer propose une implémentation CUDA optimisée pour les Transformers de type Llama sur les GPUs NVIDIA Hopper. Elle combine des techniques de quantification (FP8 pour le préremplissage, INT4 pour le décodage) et des optimisations matérielles pour accélérer l'inférence, avec des gains mesurés jusqu'à 2,18x par rapport aux solutions existantes.
Ce résumé vous donne l'essentiel. L'article complet, ses chiffres et ses citations sont chez cs.AI updates on arXiv.org.
Lire l'article originalRésumé généré par IA à partir de la source, relu par règles. Signaler une erreur