Para peneliti memperkenalkan Wan-Dancer, sebuah kerangka kerja hierarkis yang menghasilkan video tari berdurasi panjang dan definisi tinggi yang disinkronkan dengan musik. Sistem ini mengatasi batasan 20 detik yang umum pada model difusi dengan memisahkan generasi menjadi perencanaan keyframe global dan penyempurnaan temporal lokal.
- Memanfaatkan konteks musik trek penuh untuk memastikan koherensi jangka panjang.
- Menggunakan adaptasi laju bingkai dinamis melalui embedding RoPE yang dipetakan waktu untuk keselarasan yang tepat.
- Menerapkan fungsi kerugian berbasis aliran optik untuk meningkatkan kontinuitas gerakan.
- Termasuk kontrol kecepatan gerakan untuk mempertahankan detail berfidelitas tinggi selama gerakan cepat.
- Menghasilkan video stabil 720p/30fps yang melebihi satu menit di lima genre tari.
Model ini menetapkan keadaan seni baru dalam sintesis video tari bentuk panjang yang koheren dengan mengatasi drift temporal dan inkonsistensi identitas yang ditemukan pada pendekatan sebelumnya.