Pesquisadores introduziram o Wan-Dancer, uma estrutura hierárquica que gera vídeos de dança longos e em alta definição sincronizados com música. O sistema supera a limitação típica de 20 segundos dos modelos de difusão ao desacoplar a geração em planejamento global de quadros-chave e refinamento temporal local.
- Aproveita o contexto musical completo para garantir coerência de longo alcance.
- Usa adaptação dinâmica da taxa de quadros por meio de incorporações RoPE mapeadas por tempo para alinhamento preciso.
- Emprega uma função de perda baseada em fluxo óptico para melhorar a continuidade do movimento.
- Inclui controle de velocidade de movimento para preservar detalhes de alta fidelidade durante movimentos rápidos.
- Gera vídeos estáveis de 720p/30fps com mais de um minuto em cinco gêneros de dança.
O modelo estabelece um novo estado da arte na síntese de vídeos de dança longos e coerentes, abordando a deriva temporal e a inconsistência de identidade encontradas em abordagens anteriores.