Исследователи представили Wan-Dancer, иерархическую систему, которая генерирует длинные высококачественные видеоролики с танцами, синхронизированные с музыкой. Система преодолевает типичное ограничение в 20 секунд у моделей диффузии за счет разделения процесса на глобальное планирование ключевых кадров и локальное временное уточнение.
- Использует полный музыкальный контекст для обеспечения долгосрочной связности.
- Применяет динамическую адаптацию частоты кадров с помощью RoPE-встраиваний, привязанных ко времени, для точного выравнивания.
- Использует функцию потерь на основе оптического потока для улучшения непрерывности движения.
- Включает контроль скорости движения для сохранения деталей высокой четкости во время быстрых перемещений.
- Генерирует стабильные видео в разрешении 720p/30fps длительностью более одной минуты по пяти жанрам танцев.
Модель устанавливает новый уровень качества в синтезе связных длинных танцевальных видеороликов, устраняя временной дрейф и несоответствие идентичности, характерные для предыдущих подходов.