Optimiser l'autoscaling des modèles TTS sur Amazon SageMaker sans deviner

Amazon SageMaker AI propose une méthode pour éviter les cibles d'autoscaling approximatives des modèles de synthèse vocale (TTS). Selon l'annonce, les équipes déployant des modèles TTS personnalisés sur cette plateforme ajustent souvent manuellement les seuils d'autoscaling, ce qui conduit à des gaspillages de ressources GPU ou à des dépassements des objectifs de latence.

L'article détaille le déploiement de Kokoro-82M, un modèle TTS de 82 millions de paramètres, dans un conteneur personnalisé sur SageMaker. Deux mesures clés, Q_max et T_total, sont utilisées pour définir une politique d'autoscaling précise. Q_max correspond au nombre maximal de requêtes qu'une instance peut traiter sans dépasser l'objectif de latence, tandis que T_total mesure le temps nécessaire pour une mise à l'échelle complète. Ces valeurs sont calculées à partir de tests en conditions réelles et intégrées dans la configuration via des piles AWS CDK.

Cette approche élimine les risques liés aux estimations manuelles et permet une adaptation automatique aux variations de trafic. Les outils proposés, incluant une chaîne de commande CLI, garantissent que les politiques d'autoscaling ne sont déployées qu'après validation par des mesures concrètes, évitant ainsi des configurations non testées en production.