Los investigadores han presentado Wan-Dancer, un marco jerárquico que genera videos de baile de larga duración y alta definición sincronizados con música. El sistema supera la limitación típica de 20 segundos de los modelos de difusión al desacoplar la generación en planificación global de fotogramas clave y refinamiento temporal local.
- Aprovecha el contexto musical completo para garantizar coherencia a largo plazo.
- Utiliza adaptación dinámica de la tasa de fotogramas mediante incrustaciones RoPE mapeadas por tiempo para una alineación precisa.
- Emplea una función de pérdida basada en flujo óptico para mejorar la continuidad del movimiento.
- Incluye control de velocidad de movimiento para preservar detalles de alta fidelidad durante movimientos rápidos.
- Genera videos estables de 720p/30fps que superan el minuto en cinco géneros de baile.
El modelo establece un nuevo estado del arte en la síntesis de videos de baile largos y coherentes al abordar la deriva temporal y la inconsistencia de identidad encontradas en enfoques anteriores.