研究者らは、音楽に同期した長時間・高精細なダンス動画を生成する階層型フレームワークであるWan-Dancerを発表しました。このシステムは、生成をグローバルなキーフレーム計画とローカルな時間的補正に分離することで、拡散モデルの典型的な20秒という制限を克服しています。

  • 長期の一貫性を確保するためにフルトラックの音楽的コンテキストを活用する。
  • 正確なアライメントのために時間マッピングされたRoPE埋め込みを用いた動的フレームレート適応を採用。
  • モーションの連続性を向上させるために光流ベースの損失関数を使用。
  • 高速モーション中の高忠実度の詳細を維持するためのモーション速度制御を含む。
  • 5つのダンスジャンルにわたり1分を超える安定した720p/30fpsの動画を生成。

このモデルは、以前の手法で見られた時間的ドリフトとアイデンティティの不整合に対処することで、一貫性のある長時間フォーマットのダンス動画合成において新たな最先端を確立しました。