Para peneliti memperkenalkan OpenCoF, sebuah kerangka kerja yang terdiri dari dataset OpenCoF-17K dan model Wan-CoF, untuk memajukan penalaran Chain-of-Frame (CoF) dalam generasi video. Dataset OpenCoF-17K mencakup 11 keluarga tugas, menyediakan pengawasan temporal yang beragam yang mengatasi kesenjangan pada generator video tujuan umum yang ada.
- Wan-CoF adalah versi fine-tuned dari model baseline Wan2.2-I2V-A14B.
- Model ini mencapai peningkatan signifikan di empat benchmark penalaran video.
- Studi ini mengeksplorasi pemasangan token penalaran visual dan tekstual pada model untuk menangkap petunjuk visual tingkat rendah dan prior semantik tingkat tinggi.
- Analisis memeriksa bagaimana token-token ini berkontribusi di seluruh kedalaman model, langkah denoising, ruang, dan waktu.
Para penulis menyimpulkan bahwa penalaran video yang lebih kuat memerlukan pengawasan temporal yang luas dan mekanisme eksplisit untuk mengatur state penalaran perantara. Dataset, model, dan kode dibuka secara open-source untuk memfasilitasi penelitian di masa depan.