Benchmark · math
FrontierMath
FrontierMath هو معيار (benchmark) من Epoch AI يقيس مدى قدرة نموذج الذكاء الاصطناعي على حل مسائل رياضية بالغة الصعوبة وأصلية على مستوى البحث العلمي. الدرجة هي النسبة المئوية للمسائل التي يجيب عنها النموذج إجابة صحيحة، والنماذج الحالية لا تحل سوى جزء صغير منها، أي أنها بعيدة جدًا عن التشبّع.
اقرأ المزيد
- مثال
- مسألة واحدة لم تُنشر من قبل، مأخوذة من مجال متقدم مثل نظرية الأعداد أو الهندسة الجبرية أو التوافقيات، ويتطلب حلها خبرة عميقة وينتهي إلى إجابة نهائية محددة واحدة (مثل عدد صحيح بعينه أو كائن رياضي دقيق).
- طريقة التقييم
- المقياس هو الدقة (accuracy): نسبة المسائل التي تتطابق إجابتها النهائية تمامًا مع الإجابة المرجعية، وتُعرض كنسبة مئوية.
- التحقق
- لكل مسألة إجابة واحدة محددة يمكن التحقق منها آليًا، فلا يُقبل الحل إلا إذا طابق الإجابة المرجعية تمامًا؛ وقد صمّم المسائلَ رياضيون خبراء بحيث يكاد يستحيل الوصول إلى الإجابة الصحيحة بالتخمين.
- لماذا يهم
- لأن المسائل جديدة فهو يقاوم الحفظ، ولا يزال بعيدًا عن أن يُحَل بالكامل، ما يجعله واحدًا من المعايير الرياضية القليلة التي لا تزال تفصل بوضوح بين التفكير الرياضي المتقدم الحقيقي وبين مجرد مطابقة الأنماط.
مثال محلول
عناصر FrontierMath هي مسائل رياضية قائمة بذاتها على مستوى بحثي، وجوابها قيمة دقيقة واحدة يمكن لمُصحِّح آلي (غالبًا SymPy) التحقق منها، وهي كبيرة أو محدَّدة بما يكفي ليكون تخمينها شبه مستحيل. وإليك عنصرًا تمثيليًا بهذا الأسلوب: «لكل عدد أولي p، ليكن ord_p(2) هو الرتبة الضربية للعدد 2 بالمقياس p — أي أصغر عدد صحيح موجب k بحيث 2^k ≡ 1 (mod p). احسب Σ ord_p(2) على جميع الأعداد الأولية p حيث 100 < p < 200، وأعطِ العدد الصحيح الدقيق.» الجواب: 2140. الاستدلال: هناك 21 عددًا أوليًا من هذا النوع، ولكل منها يجب أن يقسم ord_p(2) العددَ p−1 (مبرهنة فيرما الصغرى)، لذا نختبر قواسم p−1 تصاعديًا بحثًا عن أصغر k يحقق 2^k ≡ 1 — فمثلًا بالمقياس 127 نحصل على 2^7 = 128 ≡ 1، إذن ord = 7، بينما بالمقياس 101 يكون العدد 2 جذرًا بدائيًا، إذن ord = 100. وبجمع الرتب الـ21 نحصل على 2140، ويتحقق منه المصحِّح عبر تطابق دقيق للأعداد الصحيحة. (مسائل FrontierMath الحقيقية أصعب بكثير وكثيرًا ما تستغرق ساعات من عالم رياضيات خبير، لكن الصيغة — رقم واحد دقيق قابل للتحقق آليًا — هي تمامًا كذلك.)
لا توجد درجات موثّقة لهذا الـ Benchmark بعد.