Benchmark · reasoning

DROP

saturated 0 परिणाम 0 मॉडल

DROP (Discrete Reasoning Over Paragraphs) एक रीडिंग-कॉम्प्रिहेंशन बेंचमार्क है जिसमें Wikipedia के अनुच्छेदों पर लगभग 96 हज़ार क्राउडसोर्स प्रश्न हैं, जिनके लिए पाठ पर असतत तर्क — अंकगणित, गिनती, क्रमबद्धता और तुलना — करना ज़रूरी है; इसका मूल्यांकन Exact Match (EM) और संख्या-संवेदी मैक्रो-औसत F1 से होता है।

और पढ़ें

उदाहरण: एक छोटा अनुच्छेद (अक्सर किसी NFL मैच का विवरण या इतिहास का लेख) और ऐसा प्रश्न जिसका उत्तर एक ही अंश कॉपी करके नहीं दिया जा सकता — जैसे पाठ में दी गई दो मात्राओं को घटाना, किसी प्रकार की घटनाएँ कितनी बार हुईं यह गिनना, या यह तय करने के लिए इकाइयों को क्रम में लगाना कि पहले या अंत में कौन आया।
स्कोरिंग: सभी प्रश्नों पर मैक्रो-औसत दो मीट्रिक: Exact Match (EM — सामान्यीकृत भविष्यवाणी संदर्भ उत्तर के बराबर) और F1 (भविष्यवाणी व संदर्भ को शब्द-थैले मानकर टोकन-ओवरलैप; कई अंश होने पर उन्हें आपस में इष्टतम रूप से मिलाया जाता है)। यह संख्या-संवेदी है: यदि उत्तर की कोई संख्या संदर्भ से बिल्कुल मेल न खाए, तो वह F1 शून्य होता है। संदर्भ उत्तर एक संख्या, एक या अधिक पाठ-अंश, या एक तिथि हो सकता है।
सत्यापन: भविष्यवाणियों को सामान्यीकरण (छोटे अक्षर; आर्टिकल, विरामचिह्न और अतिरिक्त रिक्त स्थान हटाना) के बाद DROP की आधिकारिक मूल्यांकन स्क्रिप्ट से संदर्भ-उत्तर समुच्चय के विरुद्ध जाँचा जाता है, और सभी स्वीकार्य उत्तरों में से सर्वोत्तम स्कोर लिया जाता है। सार्वजनिक लीडरबोर्ड एक छिपे हुए टेस्ट विभाजन पर EM और F1 दर्शाते हैं।
यह क्यों मायने रखता है: अंश-निष्कर्षण डेटासेट के विपरीत, DROP में कई तथ्यों को प्रतीकात्मक संक्रियाओं (जोड़, घटाव, गिनती, तुलना) से जोड़ना पड़ता है, इसलिए यह उजागर करता है कि मॉडल वास्तव में पाठ पर संख्यात्मक तर्क कर रहा है या केवल किसी एक अंश से पैटर्न मिला रहा है। इसे प्रतिकूल (adversarial) तरीके से बनाया गया — ऐसे प्रश्न रखे गए जिन पर एक मज़बूत बेसलाइन रीडर ग़लत होता था — और यह असतत व संख्यात्मक तर्क की एक मानक जाँच बना हुआ है।

हल किया गया उदाहरण

कार्य

अनुच्छेद: «The Broncos ने 24 गज़ के field goal से स्कोरिंग शुरू की; the Chargers ने 5 गज़ के रनिंग touchdown से जवाब दिया; हाफ़टाइम से पहले The Broncos ने 43 गज़ का एक और field goal जोड़ा, और the Chargers ने 12 गज़ का पासिंग touchdown किया।» प्रश्न: «Broncos का लंबा field goal उनके छोटे field goal से कितने गज़ लंबा था?»

समाधान

Broncos के दो field goal पहचानें: 24 और 43 गज़। लंबे में से छोटे को घटाएँ: 43 − 24 = 19. अंतिम उत्तर: 19 (संख्या)।

व्याख्या

उत्तर अनुच्छेद में सीधे किसी अंश के रूप में नहीं है; इसे Broncos के दो field goal चुनकर और घटाव करके निकालना पड़ता है — यही असतत अंकगणित DROP का लक्ष्य है। ग्रेडिंग: भविष्यवाणी की गई संख्या संदर्भ उत्तर 19 से बिल्कुल मेल खानी चाहिए, जिससे EM = 1 और F1 = 1 मिलता है (संख्या-जाँच पास हो जाती है)।

इस benchmark के लिए अभी तक कोई सत्यापित स्कोर रिपोर्ट नहीं किया गया है।