Benchmark · multimodal

MathVista

0 परिणाम 0 मॉडल

MathVista एक मल्टीमॉडल बेंचमार्क है जो दृश्य इनपुट — आकृतियों, चार्ट, ज्यामितीय आरेखों और वैज्ञानिक ग्राफ़ों — पर गणितीय तर्क का मूल्यांकन करता है। प्रदर्शन को accuracy (सटीकता) के रूप में बताया जाता है, यानी सही उत्तर वाले प्रश्नों का अनुपात।

और पढ़ें

उदाहरण: एक सामान्य आइटम एक छवि — ज्यामितीय आरेख, फलन का ग्राफ़, बार चार्ट या तालिका — को ऐसे प्रश्न से जोड़ता है जो केवल बारीक दृश्य विवरण पढ़कर और फिर गणितीय तर्क करके ही हल होता है, जैसे लेबल की गई आकृति से लंबाई निकालना या चार्ट से कोई मान पढ़ना। आइटम या तो बहुविकल्पीय होते हैं या मुक्त उत्तर वाले (पूर्णांक, दशमलव या सूची)।
स्कोरिंग: मीट्रिक accuracy (सटीकता) है। चूँकि उत्तर मुक्त या बहुविकल्पीय होते हैं, पहले एक LLM मॉडल के पूरे उत्तर से संक्षिप्त अंतिम उत्तर निकालता है; उसे सामान्यीकृत करके सही उत्तर से सटीक मिलान द्वारा तुलना की जाती है। accuracy सही आइटमों का अनुपात है, जिसे कार्य प्रकार और तर्क प्रकार के अनुसार विभाजित करके भी बताया जाता है।
सत्यापन: मूल्यांकन दो विभाजनों का उपयोग करता है: स्थानीय स्कोरिंग के लिए सार्वजनिक उत्तरों वाला 1000 आइटम का testmini सेट, और लगभग 5141 आइटम का बड़ा test सेट जिसके उत्तर छिपे रहते हैं और केवल आधिकारिक मूल्यांकन लीडरबोर्ड पर पूर्वानुमान भेजकर ही स्कोर किए जाते हैं। जब उत्तर-निष्कर्षण और सटीक-मिलान की प्रक्रिया उसे स्वीकार करती है, तभी परिणाम सही गिना जाता है।
यह क्यों मायने रखता है: केवल-पाठ वाले गणित बेंचमार्क और सामान्य दृश्य प्रश्नोत्तर बेंचमार्क, अलग-अलग, उस प्रतिच्छेदन को छोड़ देते हैं जिस पर MathVista लक्षित है: ऐसी गणित जो वास्तविक दृश्य समझ के बिना असंभव है। इसने मॉडलों और मनुष्यों के बीच बड़ा अंतर उजागर किया और मल्टीमॉडल फ़ाउंडेशन मॉडलों के दृश्य गणितीय तर्क का एक मानक मापदंड बन गया।

हल किया गया उदाहरण

कार्य

छवि: एक समकोण त्रिभुज जिसकी दो लंब भुजाएँ 6 और 8 लेबल की गई हैं। प्रश्न: «आकृति में कर्ण की लंबाई कितनी है?» उत्तर प्रकार: मुक्त उत्तर पूर्णांक।

समाधान

पाइथागोरस प्रमेय से, कर्ण c = √(6² + 8²) = √(36 + 64) = √100 = 10। अंतिम उत्तर: 10।

व्याख्या

इसे हल करने के लिए आरेख से लेबल की गई भुजाओं की लंबाइयाँ पढ़नी होती हैं (दृश्य समझ) और फिर पाइथागोरस प्रमेय लागू करना होता है (गणितीय तर्क)। मूल्यांकन: एक LLM मॉडल के उत्तर से संक्षिप्त उत्तर «10» निकालता है, जिसका सही उत्तर से सामान्यीकृत सटीक मिलान द्वारा मिलान किया जाता है।

इस benchmark के लिए अभी तक कोई सत्यापित स्कोर रिपोर्ट नहीं किया गया है।