StreamEval : un benchmark pour les modèles de génération vidéo interactive en streaming
En bref
- StreamEval évalue 5 tâches de génération vidéo interactive en temps réel avec 300 cas de test.
- Les scores montrent des lacunes majeures en exécution fiable des requêtes malgré une bonne qualité visuelle.
- La cohérence d'état et la préservation du contenu sont des défis persistants pour ces modèles.
Des chercheurs présentent StreamEval, un benchmark unifié pour évaluer les modèles de génération vidéo interactive en temps réel. Selon l'annonce, ce cadre teste cinq tâches : dialogue d'avatars, performance d'avatars, génération de mondes, édition par instruction et édition par référence. StreamEval inclut 300 cas de test scriptés, d'une durée de 15 à 300 secondes, avec des demandes multimodales progressives et des exigences explicites de préservation d'état et de contenu.
Les résultats, obtenus sur 37 modèles distincts, révèlent que la qualité visuelle et la rétention d'identité ne garantissent pas une exécution fiable des requêtes ou une cohérence d'état durable. L'exécution des requêtes reste particulièrement difficile, avec des scores maximaux de 36,90 pour le suivi parmi sept modèles d'avatars, 25,93 pour le suivi en génération de mondes conditionnée par du texte, et 15,00 pour le succès d'édition parmi trois modèles d'édition par référence.
Ce résumé vous donne l'essentiel. L'article complet, ses chiffres et ses citations sont chez Hugging Face Daily Papers.
Lire l'article originalRésumé généré par IA à partir de la source, relu par règles. Comment nous rédigeons · Signaler une erreur