GHARP : animation 3D de têtes humaines en temps réel par Apple

Apple présente GHARP, une méthode d'animation 3D de têtes humaines en temps réel à partir de quelques images d'un sujet et d'un signal d'expression. Selon l'annonce, le système sépare le processus en deux étapes : une phase hors ligne de reconstruction détaillée de l'identité (géométrie et apparence) et une phase légère d'animation en temps réel, optimisée pour les appareils mobiles.

GHARP exploite un espace latent structuré sémantiquement issu d'un modèle de reconstruction pré-entraîné, limitant les variations d'expression à une zone précise du visage. Cette approche permet de fusionner plusieurs vues d'entrée en une représentation compacte de Gaussiens canoniques. Cependant, l'animation reste limitée aux expressions faciales, laissant de côté la pose corporelle et les vêtements, ce qui génère des ambiguïtés. Pour y remédier, les chercheurs ajoutent un réseau d'alignement corporel qui corrige ces incohérences.

Les résultats montrent une qualité de pointe sur le benchmark Ava-256, avec un gain de vitesse allant jusqu'à 13 fois sur GPU A100 et une réduction de 8 fois du nombre de Gaussiens utilisés. Cette innovation pourrait accélérer le développement d'avatars 3D interactifs pour des applications mobiles ou immersives.