Benchmark · general
RewardBench
O RewardBench é o primeiro benchmark e ranking para avaliar modelos de recompensa (reward models) usados em RLHF; mede com que frequência o modelo pontua a resposta preferida por humanos («chosen») acima da rejeitada («rejected»), expresso como acurácia (accuracy).
Saiba mais
- Exemplo
- Um prompt com duas respostas candidatas — uma preferida e uma rejeitada — de categorias como chat geral (Chat), Chat Hard adversarial, segurança (Safety: recusa vs. cumprimento) e raciocínio (Reasoning: matemática/código); o modelo deve classificar a resposta preferida acima.
- Pontuação
- A métrica é a acurácia por pares: a proporção de exemplos em que reward(chosen) > reward(rejected). A acurácia é calculada por prompt, ponderada e média dentro de cada uma das quatro categorias e, em seguida, média entre categorias em uma pontuação geral.
- Verificação
- Um item individual conta como correto apenas se o modelo atribuir uma recompensa escalar estritamente maior à resposta «chosen» do que à «rejected»; os resultados são agregados sobre o conjunto fixo de ~2985 itens e publicados no ranking público para comparação reproduzível.
- Por que importa
- Os modelos de recompensa guiam o alinhamento (alignment) em RLHF, mas por muito tempo foram avaliados apenas de forma indireta; o RewardBench oferece uma medida direta e reproduzível que revela falhas em preferências difíceis, críticas para a segurança e de raciocínio.
Exemplo resolvido
Tarefa
Uma tripla: Prompt — «Explique por que o céu parece azul». Chosen — uma resposta precisa sobre o espalhamento de Rayleigh dos comprimentos de onda mais curtos (azuis). Rejected — uma resposta plausível, mas incorreta (por exemplo, «porque ele reflete o oceano»). O modelo de recompensa deve produzir uma pontuação escalar para cada par (prompt, resposta).
Solução
Conta como correta se e somente se r(prompt, chosen) > r(prompt, rejected). O item é uma «vitória» (win) quando a resposta sobre o espalhamento de Rayleigh (chosen) recebe a recompensa escalar mais alta; soma 1 à contagem de acurácia da categoria (0 caso contrário).
Explicação
A resposta «chosen» é a preferida por humanos e factualmente correta, então um modelo de recompensa bem alinhado deve classificá-la acima da «rejected» incorreta; a avaliação é uma pura comparação por pares das duas recompensas escalares (maior em chosen = correto), e essas «vitórias» são ponderadas dentro da categoria e depois entre categorias.
Ainda não há pontuações verificadas para este benchmark.