शोधकर्ताओं ने OpenCoF का परिचय दिया, जो OpenCoF-17K डेटासेट और Wan-CoF मॉडल से मिलकर बना एक फ्रेमवर्क है, वीडियो जनरेशन में चेन-ऑफ-फ्रेम (CoF) रीजनिंग को आगे बढ़ाने के लिए। OpenCoF-17K डेटासेट 11 कार्य परिवारों को कवर करता है, मौजूदा सामान्य उद्देश्य वाले वीडियो जनरेटरों में अंतराल को दूर करने के लिए विविध समयिक निगरानी प्रदान करता है।
- Wan-CoF, Wan2.2-I2V-A14B बेसलाइन मॉडल का एक फाइन-ट्यून किया गया संस्करण है।
- यह चार वीडियो रीजनिंग बेंचमार्क्स में काफी लाभ हासिल करता है।
- अध्ययन मॉडल को दृश्य और पाठ्य रीजनिंग टोकन से लैस करने की खोज करता है ताकि निम्न-स्तरीय दृश्य संकेतों और उच्च-स्तरीय अर्थवैज्ञानिक प्राथमिकताओं को पकड़ा जा सके।
- विश्लेषण देखता है कि ये टोकन मॉडल की गहराई, डीनोइजिंग चरणों, स्थान और समय में कैसे योगदान करते हैं।
लेखकों का निष्कर्ष है कि मजबूत वीडियो रीजनिंग के लिए व्यापक समयिक निगरानी और मध्यवर्ती रीजनिंग अवस्था को संगठित करने के लिए स्पष्ट तंत्र दोनों की आवश्यकता होती है। भविष्य के शोध को सुगम बनाने के लिए डेटासेट, मॉडल और कोड ओपन-सोर्स किए गए हैं।