ScoutRoute : routage efficace d'experts MoE via signaux internes des modèles
En bref
- ScoutRoute utilise des signaux internes de modèles pour router les experts MoE sans entraînement conjoint.
- La méthode repose sur des sondes logistiques légères et une stratégie de routage basée sur la confiance.
- Les tests sur 5 modèles et 4 benchmarks montrent une amélioration des performances et de la calibration.
ScoutRoute propose une méthode légère de routage d'experts pour les systèmes Mixture-of-Experts (MoE). Elle utilise des signaux internes de modèles de langage pour prédire la compétence des experts sans entraînement conjoint ni inférence multi-modèles coûteuse. Les résultats montrent une amélioration des performances sur plusieurs benchmarks par rapport aux approches existantes.
Ce résumé vous donne l'essentiel. L'article complet, ses chiffres et ses citations sont chez cs.AI updates on arXiv.org.
Lire l'article originalRésumé généré par IA à partir de la source, relu par règles. Signaler une erreur