Système d'inférence MoE collaboratif CPU-GPU pour une exécution efficace
En bref
- Méthode adaptative alloue dynamiquement les experts MoE entre CPU et GPU selon leur charge.
- Réduction des transferts PCIe en ciblant uniquement les experts à forte charge pour le GPU.
- Gains jusqu'à 51,9 % en vitesse de préremplissage et 39,5 % en débit de décodage.
Une nouvelle méthode d'inférence pour les modèles MoE optimise l'allocation dynamique des experts entre CPU et GPU. Elle réduit la latence en transférant uniquement les experts à forte charge vers le GPU, tout en exécutant les autres sur le CPU. Les gains de performance atteignent jusqu'à 51,9 % en vitesse de préremplissage et 39,5 % en débit de décodage.
Ce résumé vous donne l'essentiel. L'article complet, ses chiffres et ses citations sont chez cs.AI updates on arXiv.org.
Lire l'article originalRésumé généré par IA à partir de la source, relu par règles. Signaler une erreur