Los investigadores presentan OpenCoF, un marco que comprende el conjunto de datos OpenCoF-17K y el modelo Wan-CoF, para avanzar en el razonamiento por cadena de fotogramas (CoF) en la generación de video. El conjunto de datos OpenCoF-17K cubre 11 familias de tareas, proporcionando una supervisión temporal diversa que aborda lagunas en los generadores de video de propósito general existentes.
- Wan-CoF es una versión ajustada del modelo base Wan2.2-I2V-A14B.
- Logra ganancias considerables en cuatro benchmarks de razonamiento de video.
- El estudio explora equipar el modelo con tokens de razonamiento visual y textual para capturar señales visuales de bajo nivel y prioridades semánticas de alto nivel.
- El análisis examina cómo estos tokens contribuyen a lo largo de la profundidad del modelo, pasos de desvanecimiento (denoising), espacio y tiempo.
Los autores concluyen que un razonamiento de video más sólido requiere tanto una supervisión temporal amplia como mecanismos explícitos para organizar el estado intermedio del razonamiento. El conjunto de datos, el modelo y el código se publican con código abierto para facilitar futuras investigaciones.