연구자들은 음악과 동기화된 장시간 고화질 댄스 영상을 생성하는 계층적 프레임워크인 Wan-Dancer를 소개했습니다. 이 시스템은 생성을 전역 키프레임 계획과 지역 시간적 정제로 분리하여 확산 모델의 일반적인 20초 제한을 극복합니다.

  • 장기 일관성을 보장하기 위해 전체 트랙 음악 컨텍스트 활용.
  • 정확한 정렬을 위해 시간 매핑된 RoPE 임베딩을 통한 동적 프레임 레이트 적응 사용.
  • 모션 연속성 향상을 위해 광류 기반 손실 함수 적용.
  • 빠른 움직임 중 높은 충실도의 세부 사항 보존을 위한 모션 속도 제어 포함.
  • 5가지 댄스 장르에 걸쳐 1분을 초과하는 안정적인 720p/30fps 영상 생성.

이 모델은 이전 접근 방식에서 발견된 시간적 드리프트와 정체성 불일치를 해결함으로써 일관된 장편 댄스 영상 합성에 새로운 최첨단 기준을 확립했습니다.