研究人员推出了 OpenCoF,这是一个包含 OpenCoF-17K 数据集和 Wan-CoF 模型的框架,旨在推进视频生成中的帧链(CoF)推理。OpenCoF-17K 数据集涵盖 11 个任务家族,提供多样化的时间监督,以解决现有通用视频生成器的不足。

  • Wan-CoF 是 Wan2.2-I2V-A14B 基线模型的微调版本。
  • 它在四个视频推理基准测试中取得了显著的提升。
  • 该研究探讨了为模型配备视觉和文本推理令牌,以捕捉低级视觉线索和高级语义先验。
  • 分析考察了这些令牌在模型深度、去噪步骤、空间和时间上的贡献。

作者得出结论,更强的视频推理既需要广泛的时间监督,也需要用于组织中间推理状态的显式机制。该数据集、模型和代码已开源,以促进未来的研究。