Les chercheurs présentent OpenCoF, un cadre comprenant le jeu de données OpenCoF-17K et le modèle Wan-CoF, pour faire progresser le raisonnement Chain-of-Frame (CoF) dans la génération vidéo. Le jeu de données OpenCoF-17K couvre 11 familles de tâches, fournissant une supervision temporelle diversifiée qui comble les lacunes des générateurs vidéo généralistes existants.
- Wan-CoF est une version fine-tunée du modèle de base Wan2.2-I2V-A14B.
- Il obtient des gains considérables sur quatre benchmarks de raisonnement vidéo.
- L'étude explore l'équipement du modèle avec des tokens de raisonnement visuels et textuels pour capturer les indices visuels de bas niveau et les a priori sémantiques de haut niveau.
- L'analyse examine comment ces tokens contribuent à travers la profondeur du modèle, les étapes de débruitage, l'espace et le temps.
Les auteurs concluent qu'un raisonnement vidéo plus fort nécessite à la fois une supervision temporelle large et des mécanismes explicites pour organiser l'état de raisonnement intermédiaire. Le jeu de données, le modèle et le code sont open-sourcés pour faciliter les recherches futures.