Benchmark · math
GSM8K
GSM8K (Grade School Math 8K) هو معيار لمسائل رياضيات لفظية بمستوى المرحلة الابتدائية، تتطلب كل منها عدة خطوات من الاستدلال الحسابي لحلها؛ ويُقيَّم النموذج بنسبة المسائل التي تكون إجابتها الرقمية النهائية صحيحة.
اقرأ المزيد
- مثال
- مسألة لفظية قصيرة مثل «باعت Natalia مشابك لـ 48 صديقة في أبريل ونصف ذلك في مايو؛ كم مشبكًا باعت إجمالًا؟» — على النموذج أن يتدرّج في الخطوات ويعطي الرقم النهائي.
- طريقة التقييم
- الدرجة هي accuracy (الدقة): نسبة المسائل التي تطابق إجابتها الرقمية النهائية الإجابة المرجعية تمامًا؛ ولا يُقيَّم الاستدلال الوسيط، بل الرقم النهائي فقط.
- التحقق
- التحقق آلي وبالمطابقة التامة: يُستخرج الرقم النهائي من النموذج (عادةً بعد فاصل مثل «####») ويُقارن بالإجابة الصحيحة، فلا حاجة إلى حكم بشري.
- لماذا يهم
- أصبح اختبارًا قياسيًا وسهل التحقق للاستدلال متعدد الخطوات، وقد تبيّن أن أسلوب التوجيه الشهير chain-of-thought يحسّن نتائجه بوضوح، مما جعله مقياسًا شائعًا للقدرة على الاستدلال.
مثال محلول
المهمة
لدى ماريا 3 علب من أقلام التلوين، في كل علبة 24 قلمًا. تعطي أخاها 15 قلمًا، ثم تشتري علبتين ممتلئتين إضافيتين. كم قلم تلوين لديها الآن؟
الحل
3 × 24 = 72; 72 − 15 = 57; 2 × 24 = 48; 57 + 48 = 105 → 105
الشرح
نضرب للحصول على العدد الأولي، ونطرح ما أعطته، ونضيف العلب المشتراة حديثًا: 72 − 15 + 48 = 105. يقيّم GSM8K فقط الرقم النهائي المستخرج بعد الفاصل '####' بالمطابقة التامة، لذا لا تُقيَّم خطوات الاستدلال — يُحتسب 105 فقط.