Benchmark · reasoning
DROP
DROP (Discrete Reasoning Over Paragraphs) هو معيار لفهم المقروء يضم نحو 96 ألف سؤال مُجمَّعة عبر التعهيد الجماعي حول فقرات من Wikipedia وتتطلب استدلالاً منفصلاً على النص — حساب، وعدّ، وترتيب، ومقارنة — ويُقيَّم بالمطابقة التامة (EM) وبمقياس F1 المتوسط كلياً والمراعي للأعداد.
اقرأ المزيد
- مثال
- فقرة قصيرة (غالباً تقرير مباراة في NFL أو مقال تاريخي) مع سؤال لا يمكن الإجابة عنه بنسخ مقطع واحد: مثل طرح كميتين مذكورتين في النص، أو عدّ كم مرة وقع حدث من نوع معيّن، أو ترتيب كيانات لتحديد أيها جاء أولاً أو أخيراً.
- طريقة التقييم
- مقياسان، بمتوسط كلي على جميع الأسئلة: المطابقة التامة (EM: التنبؤ المُطبَّع يساوي الإجابة المرجعية) وF1 (تداخل الرموز باعتبار التنبؤ والمرجع حقيبتَي كلمات؛ وعند تعدد المقاطع تُحاذى مقطعاً بمقطع على النحو الأمثل). وهو مراعٍ للأعداد: إذا لم يطابق عدد في الإجابة العددَ المرجعي تماماً كانت قيمة F1 لتلك المقارنة صفراً. وقد تكون الإجابة المرجعية عدداً، أو مقطعاً نصياً واحداً أو أكثر، أو تاريخاً.
- التحقق
- تُقيَّم التنبؤات مقابل مجموعة الإجابات المرجعية بواسطة سكربت التقييم الرسمي لـ DROP بعد التطبيع (تحويل إلى أحرف صغيرة؛ وإزالة أدوات التعريف وعلامات الترقيم والمسافات الزائدة)، مع أخذ أفضل درجة بين كل الإجابات المقبولة. وتُبلِّغ لوحات الصدارة العامة عن EM وF1 على قسم اختبار مخفي.
- لماذا يهم
- بخلاف مجموعات استخراج المقاطع، يتطلب DROP تركيب عدة حقائق بعمليات رمزية (جمع، طرح، عدّ، مقارنة)، فيكشف ما إذا كان النموذج يستدل عددياً على النص فعلاً بدل مطابقة نمط بمقطع واحد. وقد بُني بأسلوب تنافسي — بالإبقاء على الأسئلة التي يخطئ فيها قارئ أساس قوي — ولا يزال اختباراً معيارياً للاستدلال المنفصل والعددي.
مثال محلول
المهمة
الفقرة: «The Broncos افتتحوا التسجيل بـ field goal من 24 ياردة؛ ورد the Chargers بـ touchdown أرضي من 5 ياردات؛ وقبل نهاية الشوط الأول أضاف The Broncos هدف field goal من 43 ياردة، وسجّل the Chargers touchdown تمريرياً من 12 ياردة.» السؤال: «بكم ياردة كان field goal الأطول لفريق Broncos أطول من field goal الأقصر لديهم؟»
الحل
حدِّد الـ field goal الاثنين لفريق Broncos: 24 و43 ياردة. اطرح الأقصر من الأطول: 43 − 24 = 19. الإجابة النهائية: 19 (عدد).
الشرح
الإجابة ليست مقطعاً موجوداً في الفقرة، بل يجب اشتقاقها باختيار الـ field goal الاثنين لفريق Broncos ثم الطرح — وهي بالضبط الحساب المنفصل الذي يستهدفه DROP. التقييم: يجب أن يطابق العدد المتوقَّع الإجابةَ المرجعية 19 تماماً، مما يعطي EM = 1 وF1 = 1 (اجتياز فحص الأعداد).
لا توجد درجات موثّقة لهذا الـ Benchmark بعد.