Benchmark · multimodal

MathVista

5 परिणाम 5 मॉडल

MathVista एक मल्टीमॉडल बेंचमार्क है जो दृश्य इनपुट — आकृतियों, चार्ट, ज्यामितीय आरेखों और वैज्ञानिक ग्राफ़ों — पर गणितीय तर्क का मूल्यांकन करता है। प्रदर्शन को accuracy (सटीकता) के रूप में बताया जाता है, यानी सही उत्तर वाले प्रश्नों का अनुपात।

और पढ़ें

उदाहरण: एक सामान्य आइटम एक छवि — ज्यामितीय आरेख, फलन का ग्राफ़, बार चार्ट या तालिका — को ऐसे प्रश्न से जोड़ता है जो केवल बारीक दृश्य विवरण पढ़कर और फिर गणितीय तर्क करके ही हल होता है, जैसे लेबल की गई आकृति से लंबाई निकालना या चार्ट से कोई मान पढ़ना। आइटम या तो बहुविकल्पीय होते हैं या मुक्त उत्तर वाले (पूर्णांक, दशमलव या सूची)।
स्कोरिंग: मीट्रिक accuracy (सटीकता) है। चूँकि उत्तर मुक्त या बहुविकल्पीय होते हैं, पहले एक LLM मॉडल के पूरे उत्तर से संक्षिप्त अंतिम उत्तर निकालता है; उसे सामान्यीकृत करके सही उत्तर से सटीक मिलान द्वारा तुलना की जाती है। accuracy सही आइटमों का अनुपात है, जिसे कार्य प्रकार और तर्क प्रकार के अनुसार विभाजित करके भी बताया जाता है।
सत्यापन: मूल्यांकन दो विभाजनों का उपयोग करता है: स्थानीय स्कोरिंग के लिए सार्वजनिक उत्तरों वाला 1000 आइटम का testmini सेट, और लगभग 5141 आइटम का बड़ा test सेट जिसके उत्तर छिपे रहते हैं और केवल आधिकारिक मूल्यांकन लीडरबोर्ड पर पूर्वानुमान भेजकर ही स्कोर किए जाते हैं। जब उत्तर-निष्कर्षण और सटीक-मिलान की प्रक्रिया उसे स्वीकार करती है, तभी परिणाम सही गिना जाता है।
यह क्यों मायने रखता है: केवल-पाठ वाले गणित बेंचमार्क और सामान्य दृश्य प्रश्नोत्तर बेंचमार्क, अलग-अलग, उस प्रतिच्छेदन को छोड़ देते हैं जिस पर MathVista लक्षित है: ऐसी गणित जो वास्तविक दृश्य समझ के बिना असंभव है। इसने मॉडलों और मनुष्यों के बीच बड़ा अंतर उजागर किया और मल्टीमॉडल फ़ाउंडेशन मॉडलों के दृश्य गणितीय तर्क का एक मानक मापदंड बन गया।

हल किया गया उदाहरण

कार्य

छवि: एक समकोण त्रिभुज जिसकी दो लंब भुजाएँ 6 और 8 लेबल की गई हैं। प्रश्न: «आकृति में कर्ण की लंबाई कितनी है?» उत्तर प्रकार: मुक्त उत्तर पूर्णांक।

समाधान

पाइथागोरस प्रमेय से, कर्ण c = √(6² + 8²) = √(36 + 64) = √100 = 10। अंतिम उत्तर: 10।

व्याख्या

इसे हल करने के लिए आरेख से लेबल की गई भुजाओं की लंबाइयाँ पढ़नी होती हैं (दृश्य समझ) और फिर पाइथागोरस प्रमेय लागू करना होता है (गणितीय तर्क)। मूल्यांकन: एक LLM मॉडल के उत्तर से संक्षिप्त उत्तर «10» निकालता है, जिसका सही उत्तर से सामान्यीकृत सटीक मिलान द्वारा मिलान किया जाता है।

Claude 3.5 Sonnet Kimi k1.5 o4-mini Alita LFM2.5-VL-3B

समयरेखा

तारीख़	मॉडल	स्कोर	स्रोत
2026-08-13	LFM2.5-VL-3B	68.5%	Liquid AI ने LFM2.5-VL-3B जारी किया, जो टूल कॉलिंग के साथ एक 3B ऑन-डिवाइज विजन-लैंग्वेज मॉडल है
2025-05-26	Alita	74.0%	Alita न्यूनतम पूर्व-परिभाषा और अधिकतम स्व-विकास के साथ स्केलेबल एजेंटिक तर्क को सक्षम बनाता है
2025-04-17	o4-mini	84.3%	OpenAI ने o4-mini जारी किया, जो एक तेज़ और सस्ता बहुआयामी तर्क मॉडल है
2025-01-22	Kimi k1.5	74.9%	Kimi k1.5 LLM के साथ पुनर्बल सीखने को स्केल करके o1 से मेल खाता है और short-CoT मॉडल्स को हराता है
2024-06-20	Claude 3.5 Sonnet	67.7%	एन्थ्रोपिक ने क्लॉड 3.5 सॉनेट के लिए कोडिंग और विज़न बेंचमार्क में सुधार के साथ एक एडेन्डम जारी किया