연구자들은 영상 생성에서 Chain-of-Frame (CoF) 추론을 발전시키기 위해 OpenCoF-17K 데이터셋과 Wan-CoF 모델을 포함하는 프레임워크인 OpenCoF를 소개합니다. OpenCoF-17K 데이터셋은 11개의 작업 패밀리를 커버하며, 기존 범용 영상 생성기의 격차를 해소하는 다양한 시간적 감독을 제공합니다.
- Wan-CoF는 Wan2.2-I2V-A14B 베이스라인 모델의 파인튜닝 버전입니다.
- 4개의 영상 추론 벤치마크에서 상당한 개선을 달성했습니다.
- 이 연구는 저수준 시각적 단서와 고수준 의미적 사전 지식을 포착하기 위해 모델에 시각적 및 텍스트적 추론 토큰을 장착하는 것을 탐구합니다.
- 분석은 이러한 토큰이 모델 깊이, 디노이징 단계, 공간 및 시간 전반에 걸쳐 어떻게 기여하는지 조사합니다.
저자들은 강력한 영상 추론에는 광범위한 시간적 감독과 중간 추론 상태를 조직하기 위한 명시적 메커니즘이 모두 필요하다고 결론짓습니다. 데이터셋, 모델 및 코드는 향후 연구를 촉진하기 위해 오픈소스로 공개되었습니다.