Benchmark · multimodal

LongVideoBench

0 परिणाम 0 मॉडल

LongVideoBench एक बहुविकल्पीय प्रश्नोत्तर बेंचमार्क है जो जाँचता है कि मल्टीमॉडल मॉडल सबटाइटल वाले लंबे वीडियो (एक घंटे तक) को कितनी अच्छी तरह समझते हैं, जो फ़्रेम और टेक्स्ट के इंटरलीव्ड रूप में प्रस्तुत होते हैं। प्रदर्शन को accuracy (सटीकता) से मापा जाता है — उन प्रश्नों का प्रतिशत जिनमें मॉडल सही विकल्प चुनता है।

और पढ़ें

उदाहरण: लंबे वीडियो पर 'referring reasoning' (संदर्भित तर्क) प्रकार का प्रश्न: प्रश्न में एक संदर्भ-क्वेरी होती है जो किसी विशिष्ट क्षण की ओर इशारा करती है (जैसे 'वह दृश्य जो प्रस्तोता के लाल डिब्बा खोलने के ठीक बाद आता है'), और मॉडल को नमूना किए गए फ़्रेम व सबटाइटल में से वह क्षण खोजकर यह चुनना होता है कि वहाँ क्या होता है।
स्कोरिंग: मेट्रिक बहुविकल्पीय सटीकता है: स्कोर = (सही उत्तर दिए गए प्रश्न) / (कुल प्रश्न)। प्रश्न तभी सही गिना जाता है जब मॉडल का चुना हुआ विकल्प एकमात्र मानक उत्तर से मेल खाए। परिणामों को आमतौर पर चार अवधि-समूहों (8–15 से, 15–60 से, 3–10 मिनट, 15–60 मिनट) और प्रश्न-श्रेणी के अनुसार भी विभाजित किया जाता है।
सत्यापन: उत्तर तभी स्वीकार होता है जब पूर्वानुमानित विकल्प का लेबल मानक लेबल से बिल्कुल मेल खाए। वैलिडेशन स्प्लिट (1,337 प्रश्न) सार्वजनिक उत्तरों के साथ आता है, इसलिए सटीकता स्थानीय रूप से निकाली जा सकती है; टेस्ट स्प्लिट के उत्तर छिपे रहते हैं और आधिकारिक लीडरबोर्ड के ज़रिए मूल्यांकित होते हैं, इसलिए सार्वजनिक रूप से बताए गए स्कोर वैलिडेशन स्प्लिट का उपयोग करते हैं।
यह क्यों मायने रखता है: अधिकांश वीडियो बेंचमार्क कुछ ही फ़्रेम से हल हो जाते हैं; LongVideoBench का 'referring reasoning' डिज़ाइन मॉडल को एक घंटे तक के वीडियो-प्लस-सबटाइटल इंटरलीव्ड इनपुट में छिपे विशिष्ट विवरणों को खोजने और उन पर तर्क करने के लिए मजबूर करता है, यह उजागर करता है कि वीडियो लंबे होने पर सटीकता कैसे गिरती है और वास्तविक लंबे-संदर्भ मल्टीमॉडल पुनर्प्राप्ति की परख करता है।

हल किया गया उदाहरण

कार्य

प्रतिनिधि नमूना। इनपुट: ~25 मिनट के कुकिंग व्लॉग से नमूना किए गए फ़्रेम + टाइमस्टैम्प वाले सबटाइटल। referring reasoning प्रकार का प्रश्न: संदर्भ-क्वेरी: वह क्षण जब प्रस्तोता पहली बार पैन में नमक डालता है। प्रश्न: उस क्षण के तुरंत बाद प्रस्तोता कौन-सी सामग्री डालता है? A) लहसुन B) चीनी C) कटा हुआ प्याज D) जैतून का तेल E) काली मिर्च

समाधान

सबटाइटल/चित्र संकेतों की मदद से नमूना फ़्रेमों में संदर्भित क्षण (पहली बार नमक डालना) खोजें; उसके ठीक बाद के फ़्रेम देखें; अगली डाली गई सामग्री पहचानें। सही विकल्प: C) कटा हुआ प्याज।

व्याख्या

संदर्भ-क्वेरी एकमात्र आधार-क्षण तय करती है, और केवल एक विकल्प उस बात से मेल खाता है जो बाद के फ़्रेम वास्तव में दिखाते हैं; भ्रामक विकल्प ऐसी संभाव्य सामग्रियाँ हैं जो कहीं और आती हैं या आती ही नहीं, इसलिए सही खंड खोजे बिना अनुमान लगाना विफल होता है। मूल्यांकन: चुने गए अक्षर का मानक विकल्प से सटीक मिलान; यह आइटम समग्र सटीकता में गिना जाता है।

इस benchmark के लिए अभी तक कोई सत्यापित स्कोर रिपोर्ट नहीं किया गया है।