Исследователи представляют OpenCoF, фреймворк, включающий датасет OpenCoF-17K и модель Wan-CoF, для развития рассуждений по цепочке кадров (CoF) при генерации видео. Датасет OpenCoF-17K охватывает 11 семейств задач, предоставляя разнообразное временное обучение, которое устраняет пробелы в существующих универсальных видеогенераторах.
- Wan-CoF — это дообученная версия базовой модели Wan2.2-I2V-A14B.
- Она демонстрирует значительный прогресс по четырем бенчмаркам видео-рассуждений.
- В исследовании рассматривается оснащение модели визуальными и текстовыми токенами рассуждений для захвата низкоуровневых визуальных признаков и высокоуровневых семантических приоритетов.
- Анализ изучает вклад этих токенов на разных глубинах модели, этапах денуйзинга, в пространстве и времени.
Авторы приходят к выводу, что для более сильных видео-рассуждений необходимы как широкое временное обучение, так и явные механизмы организации промежуточного состояния рассуждения. Датасет, модель и код опубликованы с открытым исходным кодом для содействия будущим исследованиям.