Benchmark · general
RewardBench
RewardBench هو أول معيار (benchmark) ولوحة صدارة لتقييم نماذج المكافأة (reward models) المستخدمة في RLHF؛ يقيس عدد المرات التي يمنح فيها النموذج الاستجابة المفضّلة بشرياً («chosen») درجة أعلى من الاستجابة المرفوضة («rejected»)، ويُعبَّر عنه بالدقة (accuracy).
اقرأ المزيد
- مثال
- مطالبة (prompt) مقترنة باستجابتين مرشحتين — واحدة مفضّلة وأخرى مرفوضة — مأخوذتين من فئات مثل المحادثة العامة (Chat)، وChat Hard التنافسي، والأمان (Safety: الرفض مقابل الامتثال)، والاستدلال (Reasoning: الرياضيات/الشيفرة)؛ وعلى النموذج أن يرتّب الاستجابة المفضّلة أعلى.
- طريقة التقييم
- المقياس هو الدقة الزوجية: نسبة الأمثلة التي يتحقق فيها reward(chosen) > reward(rejected). تُحسب الدقة لكل مطالبة، ثم يُؤخذ متوسطها الموزون داخل كل فئة من الفئات الأربع، ثم متوسطها عبر الفئات في درجة إجمالية واحدة.
- التحقق
- يُحتسب العنصر الواحد صحيحاً فقط عندما يمنح النموذج الاستجابة «chosen» مكافأة عددية (scalar) أعلى بشكل صارم من الاستجابة «rejected»؛ وتُجمَّع النتائج على مجموعة بيانات ثابتة من نحو 2985 عنصراً وتُنشر على لوحة الصدارة العامة لإتاحة مقارنة قابلة للتكرار.
- لماذا يهم
- توجّه نماذج المكافأة عملية المواءمة (alignment) في RLHF، لكنها ظلّت طويلاً تُقيَّم بشكل غير مباشر فقط؛ يقدّم RewardBench مقياساً مباشراً وقابلاً للتكرار يكشف مواطن الفشل في التفضيلات الصعبة والحرجة أمنياً والتي تتطلب استدلالاً.
مثال محلول
المهمة
ثلاثية واحدة: المطالبة — «اشرح لماذا تبدو السماء زرقاء». chosen — استجابة دقيقة عن تشتّت رايلي (Rayleigh) للأطوال الموجية الأقصر (الزرقاء). rejected — استجابة معقولة لكنها خاطئة (مثل «لأنها تعكس المحيط»). على نموذج المكافأة أن يُخرج درجة عددية لكل زوج (مطالبة، استجابة).
الحل
تُحتسب الإجابة صحيحة إذا وفقط إذا كان r(prompt, chosen) > r(prompt, rejected). ويكون العنصر «فوزاً» (win) عندما تنال استجابة تشتّت رايلي (chosen) المكافأة العددية الأعلى؛ فيضيف 1 إلى عدّاد دقة الفئة (وإلا فصفر).
الشرح
الاستجابة «chosen» هي المفضّلة بشرياً والصحيحة واقعياً، لذا ينبغي لنموذج مكافأة جيد المواءمة أن يرتّبها فوق الاستجابة «rejected» الخاطئة؛ والتقييم هو مقارنة زوجية محضة بين المكافأتين العدديتين (الأعلى عند chosen = صحيح)، وتُؤخذ هذه «الانتصارات» بمتوسط موزون داخل الفئة ثم عبر الفئات.
لا توجد درجات موثّقة لهذا الـ Benchmark بعد.