Matrix-Game 4.0 : des mondes de jeu jouables en temps réel avec des modèles vidéo
En bref
- Matrix-Game 4.0 sépare l'exécution du jeu de la génération visuelle via un moteur léger et un agent de codage multimodal.
- Le rendu vidéo autoregressif génère des images détaillées à partir de proxys 3D basiques, avec 60 FPS en 480p sur RTX 5090.
- Le système permet la création et modification de scènes par langage naturel, avec latence de 112 ms entre action et affichage.
Des chercheurs présentent Matrix-Game 4.0, un système qui sépare l'exécution du jeu de la génération visuelle grâce à un moteur léger maintenant l'état du monde et des règles interactives. Un agent de codage multimodal traduit les idées du joueur en code et en descriptions de scènes, tandis qu'un rendu basé sur un modèle vidéo autoregressif transforme des proxys 3D basiques en visuels détaillés. Selon l'annonce, ce cadre permet la création et la modification de scènes par langage naturel.
Le rendu est entraîné sur des paires de vidéos alignées (low-poly et haute fidélité) et utilise une distillation en générateur causal pour produire des images par blocs de quatre frames. Avec des optimisations ciblées, le système atteint 60 FPS en 480p sur un RTX 5090, avec une latence de 112 ms entre une pression de touche et l'affichage. Les auteurs publient le code, les poids du modèle et des assets pour encourager la recherche et le développement de mondes de jeu jouables.
Ce que ça change pour vous
- Jeux vidéoLes développeurs de jeux pourraient réduire les coûts de production en utilisant des proxys 3D basiques convertis en visuels détaillés par IA, accélérant les itérations créatives.
Ce résumé vous donne l'essentiel. L'article complet, ses chiffres et ses citations sont chez Hugging Face Daily Papers.
Lire l'article originalRésumé généré par IA à partir de la source, relu par règles. Comment nous rédigeons · Signaler une erreur