Os pesquisadores apresentam o OpenCoF, um framework que compreende o conjunto de dados OpenCoF-17K e o modelo Wan-CoF, para avançar no raciocínio em cadeia de quadros (CoF) na geração de vídeo. O conjunto de dados OpenCoF-17K abrange 11 famílias de tarefas, fornecendo supervisão temporal diversificada que aborda lacunas nos geradores de vídeo de propósito geral existentes.
- Wan-CoF é uma versão ajustada do modelo base Wan2.2-I2V-A14B.
- Ele alcança ganhos consideráveis em quatro benchmarks de raciocínio de vídeo.
- O estudo explora equipar o modelo com tokens de raciocínio visual e textual para capturar sinais visuais de baixo nível e prioridades semânticas de alto nível.
- A análise examina como esses tokens contribuem ao longo da profundidade do modelo, etapas de denoising, espaço e tempo.
Os autores concluem que um raciocínio de vídeo mais robusto requer tanto supervisão temporal ampla quanto mecanismos explícitos para organizar o estado intermediário do raciocínio. O conjunto de dados, o modelo e o código são open-sourced para facilitar pesquisas futuras.