Benchmark · reasoning
ZebraLogic
ZebraLogic معيار قياس للاستدلال يتألف من أحاجي شبكة منطقية («أحاجي أينشتاين»/«الحمار الوحشي») مُولَّدة برمجيًا، ويختبر قدرة نموذج اللغة الكبير (LLM) على إشباع القيود والاستنتاج؛ المقياس الرئيسي هو الدقة على مستوى الأحجية، أي نسبة الأحاجي المحلولة بالكامل بشكل صحيح (والدقة على مستوى الخلية مقياس ثانوي أدق).
اقرأ المزيد
- مثال
- يقدّم البند النموذجي N بيتًا في صفٍّ واحد وعدة فئات سمات (مثل الحيوان الأليف، المشروب، اللون)، لكل فئة N قيمة مختلفة، إضافة إلى قائمة تلميحات بلغة طبيعية؛ وعلى النموذج أن يستنتج الإسناد الوحيد لكل قيمة إلى كل بيت بحيث يحقق جميع التلميحات.
- طريقة التقييم
- مقياسان. الدقة على مستوى الأحجية (المطابقة التامة) = نسبة الأحاجي التي يملأ النموذج شبكتها كاملةً بشكل صحيح؛ والدقة على مستوى الخلية = نسبة خلايا «البيت–السمة» المفردة المُسندة بشكل صحيح. تُصنَّف الأحاجي حسب حجم الشبكة / حجم فضاء البحث لإظهار كيفية تغيّر الدقة مع التعقيد.
- التحقق
- تُولَّد كل أحجية بواسطة حَلّال قيود، فيكون لها حلٌّ صحيح واحد بالضبط؛ ويُقارَن خرج النموذج المُهيكل (الشبكة الكاملة) خليةً بخلية بالمرجع الصحيح. ولا تُحتسب الأحجية محلولةً إلا إذا تطابقت جميع الخلايا — لا درجات جزئية على مستوى الأحجية.
- لماذا يهم
- تتطلب أحاجي الشبكة المنطقية استنتاجًا منهجيًا متعدد الخطوات يقاوم الحفظ ومطابقة الأنماط، وهي مُولَّدة إجرائيًا فيصعب تسرّبها إلى بيانات التدريب. يكشف ZebraLogic «لعنة التعقيد» — إذ تهبط الدقة بحدّة كلما اتسع فضاء البحث — مما يجعله مسبارًا نظيفًا للاستدلال الحقيقي ولمدى فائدة الاستدلال وقت الاستنتاج فعليًا (سلسلة التفكير / مزيد من الحوسبة).
مثال محلول
المهمة
هناك 3 بيوت في صفٍّ واحد، مرقّمة من 1 (اليسار) إلى 3 (اليمين). لكل بيت حيوان أليف مختلف (قطة، كلب، طائر) ومشروب مختلف (شاي، ماء، حليب).
التلميحات:
1. البيت 1 يربّي القطة.
2. صاحب القطة يشرب الشاي.
3. صاحب الكلب يسكن مباشرةً إلى يسار صاحب الطائر.
4. صاحب الطائر يشرب الحليب.
5. في البيت 2 يُشرب الماء.
حدّد حيوان ومشروب كل بيت.
الحل
- التلميح 1: البيت 1 = قطة. التلميح 3: الكلب مباشرةً إلى يسار الطائر، إذن الزوج (كلب، طائر) يشغل البيتين (2، 3) — والبيت 1 قطة بالفعل. ← البيت 2 = كلب، البيت 3 = طائر.
- التلميح 2: صاحب القطة (البيت 1) يشرب الشاي. التلميح 4: صاحب الطائر (البيت 3) يشرب الحليب. التلميح 5: البيت 2 يشرب الماء.
- النتيجة النهائية: البيت 1 = قطة، شاي؛ البيت 2 = كلب، ماء؛ البيت 3 = طائر، حليب.
الشرح
تتسلسل التلميحات لتؤدي إلى إسناد وحيد مفروض، فيكون الحل فريدًا — وهي بالضبط الخاصية التي يضمنها المُولِّد. ويُصحَّح بالمطابقة التامة للشبكة كاملة مع المرجع الصحيح للحَلّال: هنا خلايا «البيت–السمة» الست جميعها صحيحة، فتُحتسب الأحجية محلولة.
لا توجد درجات موثّقة لهذا الـ Benchmark بعد.