研究者らは、動画生成におけるChain-of-Frame (CoF) 推論を推進するために、OpenCoF-17KデータセットとWan-CoFモデルからなるフレームワークであるOpenCoFを紹介する。OpenCoF-17Kデータセットは11のタスクファミリーをカバーし、既存の汎用動画生成器のギャップに対応する多様な時間的監督を提供する。

  • Wan-CoFは、Wan2.2-I2V-A14Bベースラインモデルのファインチューニング版である。
  • 4つの動画推論ベンチマークで著しい向上を実現している。
  • 本研究では、低レベルの視覚的手がかりと高レベルの意味的先験を捉えるために、モデルに視覚的およびテキスト的な推論トークンを装備させることを探求する。
  • 分析では、これらのトークンがモデルの深さ、ノイズ除去ステップ、空間、時間全体でどのように貢献するか examined される。

著者らは、強力な動画推論には広範な時間的監督と中間推論状態を整理するための明示的なメカニズムの両方が必要であると結論づけている。データセット、モデル、コードは将来の研究を促進するためにオープンソース化されている。