Benchmark · math
FrontierMath
FrontierMath هو معيار (benchmark) من Epoch AI يقيس مدى قدرة نموذج الذكاء الاصطناعي على حل مسائل رياضية بالغة الصعوبة وأصلية على مستوى البحث العلمي. الدرجة هي النسبة المئوية للمسائل التي يجيب عنها النموذج إجابة صحيحة، والنماذج الحالية لا تحل سوى جزء صغير منها، أي أنها بعيدة جدًا عن التشبّع.
اقرأ المزيد
- مثال
- مسألة واحدة لم تُنشر من قبل، مأخوذة من مجال متقدم مثل نظرية الأعداد أو الهندسة الجبرية أو التوافقيات، ويتطلب حلها خبرة عميقة وينتهي إلى إجابة نهائية محددة واحدة (مثل عدد صحيح بعينه أو كائن رياضي دقيق).
- طريقة التقييم
- المقياس هو الدقة (accuracy): نسبة المسائل التي تتطابق إجابتها النهائية تمامًا مع الإجابة المرجعية، وتُعرض كنسبة مئوية.
- التحقق
- لكل مسألة إجابة واحدة محددة يمكن التحقق منها آليًا، فلا يُقبل الحل إلا إذا طابق الإجابة المرجعية تمامًا؛ وقد صمّم المسائلَ رياضيون خبراء بحيث يكاد يستحيل الوصول إلى الإجابة الصحيحة بالتخمين.
- لماذا يهم
- لأن المسائل جديدة فهو يقاوم الحفظ، ولا يزال بعيدًا عن أن يُحَل بالكامل، ما يجعله واحدًا من المعايير الرياضية القليلة التي لا تزال تفصل بوضوح بين التفكير الرياضي المتقدم الحقيقي وبين مجرد مطابقة الأنماط.
مثال محلول
المهمة
أوجد عدد الأعداد الصحيحة $n$ التي تحقق $0 \le n < 3^{13}$ بحيث لا يقبل المعامل الثنائي المركزي $\binom{2n}{n}$ القسمة على $3$.
الحل
حسب مبرهنة Kummer، يكون $3 \nmid \binom{2n}{n}$ بالضبط عندما لا ينتج عن جمع $n+n$ في الأساس 3 أي حمل (carry)، أي أن كل رقم من أرقام $n$ في الأساس 3 يساوي 0 أو 1. على المجال $0 \le n < 3^{13}$ يعطي هذا خيارين لكل رقم من الأرقام الـ 13، فيكون العدد $2^{13} = 8192$.
الشرح
تعطي مبرهنة Kummer القيمة $v_3\binom{2n}{n}$ بوصفها عدد مرات الحمل عند جمع $n$ مع نفسه في الأساس 3؛ وانعدام الحمل يفرض أن يكون كل رقم في الأساس 3 مساوياً 0 أو 1، أي خياران لكل رقم على مدى 13 رقماً. التقييم: يطابق مدقّق آلي القيمة الصحيحة النهائية الوحيدة (8192) مطابقة تامة.