Benchmark · reasoning
ARC-AGI 2
يقيس ARC-AGI 2 (Abstraction & Reasoning Corpus، الإصدار 2، ويُقام باسم ARC Prize 2025) الاستدلال المرن: استنتاج قاعدة مجردة من أمثلة قليلة وتطبيقها على حالة جديدة. الدرجة هي النسبة المئوية للألغاز التي تُحَل بشكل صحيح على مجموعة تقييم محجوزة وشبه خاصة.
اقرأ المزيد
- مثال
- تعرض المهمة بضعة أزواج من المدخلات→المخرجات على هيئة شبكات ملوّنة (شبكة صغيرة من خلايا ملوّنة جرى تحويلها بطريقة متسقة واحدة)، وعلى من يحل أن يستنتج التحويل الخفي وينتج شبكة المخرجات الصحيحة لمدخل جديد.
- طريقة التقييم
- يُقيَّم كل لغز بنجاح/فشل: تُقارن شبكة المخرجات الناتجة بالشبكة الصحيحة تماماً، والدرجة المعلنة هي النسبة المئوية للألغاز المحلولة على مجموعة التقييم شبه الخاصة.
- التحقق
- تُتحقَّق النتائج تلقائياً عبر التطابق التام لشبكة المخرجات — إذ يجب أن تطابق الشبكة المتوقَّعة الإجابةَ خلية بخلية — على مجموعة اختبار شبه خاصة لا تُنشَر للعموم لمنع الحفظ عن ظهر قلب.
- لماذا يهم
- يركّز على ألغاز سهلة على البشر لكنها صعبة على AI، لذا فهو مقياس يُتابَع عن كثب للتجريد الحقيقي والاستدلال العام، وليس للمعرفة المحفوظة.
مثال محلول
المهمة
أحجية شبكة ARC-AGI-2: استنتج التحويل من أزواج التدريب، ثم أعطِ شبكة الخرج لمدخل الاختبار (الأرقام 0–9 ألوان؛ 0 = خلفية سوداء). التدريب 1: [[4,0,0,0],[0,0,6,0],[4,0,0,0],[0,0,6,0]] → [[0,0,0,0],[0,0,0,0],[4,0,6,0],[4,0,6,0]]. التدريب 2: [[0,3,0,0],[0,0,0,8],[0,3,0,0],[0,0,0,0]] → [[0,0,0,0],[0,0,0,0],[0,3,0,0],[0,3,0,8]]. الاختبار: [[0,0,2,0],[5,0,0,0],[0,0,2,0],[5,0,0,0]] → ?
الحل
[[0, 0, 0, 0],
[0, 0, 0, 0],
[5, 0, 2, 0],
[5, 0, 2, 0]]
الشرح
يُظهر كل زوج تدريبي القاعدة نفسها — 'الجاذبية': تسقط كل خلية ملوّنة رأسيًا إلى أدنى الخلايا الفارغة في عمودها، مع الحفاظ على لونها وعددها، بينما ترتفع الخلفية (0) إلى الأعلى. في الاختبار، يستقر الرقمان 5 في العمود 0 والرقمان 2 في العمود 2 في الصفّين السفليين. يُقيّم ARC-AGI-2 بالمطابقة التامة للشبكة — الأبعاد الصحيحة وقيمة كل خلية — وفق تسجيل pass@2 على محاولتين مسموح بهما.