Optimisation de la reconnaissance vocale en streaming sur appareils Arm Edge avec ExecuTorch
En bref
- Nemotron 3.5, un modèle ASR multilingue en streaming, est optimisé pour les appareils Arm Edge via ExecuTorch.
- L'activation de SME2 réduit le temps de traitement de 2,12 fois en FP16 et 1,61 fois en INT8 sur un Pixel 11.
- Les chunks audio de 1 120 ms améliorent le WER de 15,5 % à 11,7 % en INT8, proche des performances FP16.
PyTorch annonce l'optimisation d'un modèle de reconnaissance vocale en streaming (ASR) pour les appareils Arm Edge via ExecuTorch. Selon une étude comparative, l'écart entre précision en batch et en streaming peut atteindre 77 % de taux d'erreur de mots (WER) pour certains modèles. Le modèle Nemotron 3.5, basé sur une architecture RNN-T, est exporté vers ExecuTorch et testé sur un Google Pixel 11.
Les tests évaluent l'impact de la précision (FP32, FP16, INT8) et de la taille des chunks audio (80 ms à 1 120 ms) sur la qualité et la latence. Les résultats montrent que l'INT8 (QC8W) maintient une précision proche du FP16, avec un WER passant de 15,5 % à 11,7 % pour des chunks de 1 120 ms. L'activation de l'extension SME2 d'Arm réduit le temps de traitement de 2,12 fois en FP16 et 1,61 fois en INT8, sans dépasser la durée réelle de l'audio.
Cette optimisation permet de libérer des ressources CPU pour d'autres tâches entre les chunks, tout en limitant la charge thermique. Les outils de profiling (ETDump, Arm Streamline) révèlent que les gains proviennent principalement de l'accélération des multiplications matricielles (GEMM) via les microkernels KleidiAI, mais soulignent un manque d'outils pour lier directement les couches du modèle aux fonctions natives exécutées.
Ce résumé vous donne l'essentiel. L'article complet, ses chiffres et ses citations sont chez PyTorch Blog.
Lire l'article originalRésumé généré par IA à partir de la source, relu par règles. Comment nous rédigeons · Signaler une erreur