Les chercheurs ont présenté Wan-Dancer, un cadre hiérarchique qui génère des vidéos de danse de longue durée et haute définition synchronisées avec la musique. Le système surmonte la limitation typique de 20 secondes des modèles de diffusion en découpant la génération en planification globale de clés (keyframes) et en raffinement temporel local.
- Exploite le contexte musical complet pour assurer une cohérence à long terme.
- Utilise une adaptation dynamique du taux d'images via des embeddings RoPE mappés dans le temps pour un alignement précis.
- Emploie une fonction de perte basée sur le flux optique pour améliorer la continuité du mouvement.
- Inclut un contrôle de la vitesse du mouvement pour préserver les détails de haute fidélité lors des mouvements rapides.
- Génère des vidéos stables en 720p/30fps dépassant une minute sur cinq genres de danse.
Le modèle établit un nouvel état de l'art dans la synthèse de vidéos de danse longues et cohérentes en adressant la dérive temporelle et l'incohérence d'identité trouvées dans les approches précédentes.