Benchmark · general

RewardBench

0 resultados 0 modelos

RewardBench es el primer benchmark y tabla de clasificación para evaluar modelos de recompensa (reward models) usados en RLHF; mide con qué frecuencia el modelo puntúa la respuesta preferida por humanos («chosen») por encima de la rechazada («rejected»), y se expresa como exactitud (accuracy).

Ejemplo: Un prompt con dos respuestas candidatas —una preferida y otra rechazada— de categorías como chat general (Chat), Chat Hard adversarial, seguridad (Safety: rechazo frente a cumplimiento) y razonamiento (Reasoning: matemáticas/código); el modelo debe clasificar la respuesta preferida por encima.
Puntuación: La métrica es la exactitud por pares: la proporción de ejemplos donde reward(chosen) > reward(rejected). La exactitud se calcula por prompt, se promedia con pesos dentro de cada una de las cuatro categorías y luego se promedia entre categorías en una puntuación global.
Verificación: Un ítem individual se cuenta como correcto solo si el modelo asigna una recompensa escalar estrictamente mayor a la respuesta «chosen» que a la «rejected»; los resultados se agregan sobre el conjunto fijo de ~2985 ítems y se publican en la tabla de clasificación pública para una comparación reproducible.
Por qué importa: Los modelos de recompensa guían el alineamiento (alignment) en RLHF, pero durante mucho tiempo solo se evaluaron de forma indirecta; RewardBench ofrece una medida directa y reproducible que revela fallos en preferencias difíciles, críticas para la seguridad y de razonamiento.

Ejemplo resuelto

Tarea

Una tripleta: Prompt — «Explica por qué el cielo se ve azul». Chosen — una respuesta precisa sobre la dispersión de Rayleigh de las longitudes de onda más cortas (azules). Rejected — una respuesta plausible pero incorrecta (p. ej., «porque refleja el océano»). El modelo de recompensa debe producir una puntuación escalar para cada par (prompt, respuesta).

Solución

Se cuenta como correcta si y solo si r(prompt, chosen) > r(prompt, rejected). El ítem es una «victoria» (win) cuando la respuesta sobre la dispersión de Rayleigh (chosen) recibe la recompensa escalar más alta; suma 1 al recuento de exactitud de la categoría (0 en caso contrario).

Explicación

La respuesta «chosen» es la preferida por humanos y correcta, por lo que un modelo de recompensa bien alineado debería clasificarla por encima de la «rejected» incorrecta; la calificación es una pura comparación por pares de las dos recompensas escalares (mayor en chosen = correcto), y estas «victorias» se promedian con pesos dentro de la categoría y luego entre categorías.

Aún no hay puntuaciones verificadas para este benchmark.