Benchmark · reasoning
Humanity's Last Exam
Humanity's Last Exam (HLE) هو معيار (benchmark) يتألف من أسئلة متقدمة على مستوى الخبراء تغطي مجالات معرفية عديدة (الرياضيات والعلوم والعلوم الإنسانية وغيرها)، صُمّم عمدًا ليكون بالغ الصعوبة على الذكاء الاصطناعي. ويُقاس الأداء بنسبة الإجابات الصحيحة (accuracy).
اقرأ المزيد
- مثال
- كل بند سؤال خبير مغلق الإجابة وله إجابة صحيحة واحدة؛ مثل مسألة رياضيات متقدمة أو سؤال علمي بمستوى الدراسات العليا (بعضها مرفق بصورة)، يُطرح على هيئة اختيار من متعدد أو إجابة قصيرة دقيقة.
- طريقة التقييم
- المقياس هو الدقة (accuracy)، أي النسبة المئوية للأسئلة التي يجيب عنها النموذج إجابة صحيحة. وتُبلّغ بعض النسخ أيضًا عن مقياس معايرة (الثقة) إلى جانب الدقة.
- التحقق
- لكل سؤال إجابة صحيحة معروفة، وتُقيَّم إجابة النموذج آليًا بمقارنتها بتلك الإجابة المرجعية (الخيار الصحيح في الاختيار من متعدد، وتطابق الإجابة القصيرة) — تقييم آلي موضوعي لا يقوم على تصويت البشر.
- لماذا يهم
- أصبحت المعايير المعتادة مُشبَعة (تكاد النماذج الأفضل تبلغ السقف)، لذا يسعى HLE إلى أن يكون اختبارًا صعبًا وقادرًا على التمييز عند حدود المعرفة البشرية المتخصصة — مؤشرًا ذا دلالة على مدى بُعد الذكاء الاصطناعي عن التفكير بمستوى الخبراء.
مثال محلول
المهمة
تمتلك الطيور الطنانة (رتبة Apodiformes) بشكل فريد عظمًا سمسمانيًّا (sesamoid) بيضويًّا مزدوجًا على الجانبين، مغروسًا في الجزء الذيلي الوحشي من الصفاق (aponeurosis) المتصالب المتوسّع لموضع ارتكاز العضلة m. depressor caudae. كم عدد الأوتار (tendons) المزدوجة التي يدعمها هذا العظم السمسماني؟ أجب برقم صحيح واحد.
الحل
4
الشرح
يتكوّن العظم السمسماني البيضوي داخل الصفاق المتصالب لعضلة خافضة الذيل ويدعم أربعة أوتار مزدوجة من موضع الارتكاز ذاك — وهو تعظّم متخصّص فريد في تشريح ذيل الطيور الطنانة. يُقيّم HLE الإجابة بالمطابقة التامة للرقم الصحيح المُقدَّم مع الإجابة المرجعية (4)، ويطلب منفصلاً درجة ثقة للمعايرة.