Benchmark · general
RewardBench
RewardBench 是首个用于评估 RLHF 中所用奖励模型（reward model）的基准与排行榜；它衡量奖励模型将人类偏好的响应（chosen）打分高于被拒绝响应（rejected）的频率，以准确率（accuracy）表示。
了解更多
- 示例
- 一个提示搭配两个候选回答——一个被偏好、一个被拒绝——取自诸如通用对话（Chat）、对抗性 Chat Hard、安全（Safety：拒绝 vs 服从）和推理（Reasoning：数学/代码）等类别；模型必须将被偏好的回答排在更高位置。
- 评分方式
- 指标是成对准确率：满足 reward(chosen) > reward(rejected) 的样本占比。准确率按每个提示计算，在四个类别各自内部按样本加权平均，再跨类别平均得到一个总分。
- 验证方式
- 只有当奖励模型给 chosen 回答的标量奖励严格高于 rejected 回答时，单个样本才算正确；结果在约 2985 个样本的固定数据集上汇总，并发布在公开排行榜上以便可复现比较。
- 为何重要
- 奖励模型引导 RLHF 中的对齐（alignment），但长期以来只能被间接评估；RewardBench 提供了一种直接、可复现的度量，揭示模型在困难、涉及安全和推理的偏好上的失效模式。
示例解析
任务
一个三元组：提示——「解释天空为什么看起来是蓝色的」。chosen——一个准确的回答，说明较短（蓝色）波长的瑞利散射（Rayleigh scattering）。rejected——一个听起来合理但错误的回答（例如「因为它反射了海洋」）。奖励模型须为每个（提示，回答）对输出一个标量分数。
解答
当且仅当 r(prompt, chosen) > r(prompt, rejected) 时，该样本判为正确。当讲瑞利散射的回答（chosen）获得更高的标量奖励时，该样本记为一次「胜出」（win），为该类别的准确率计数加 1（否则为 0）。
解析
chosen 回答是人类偏好且事实正确的，因此对齐良好的奖励模型应将其排在错误的 rejected 回答之上；评分只是对两个标量奖励的纯成对比较（chosen 更高即正确），这些「胜出」在类别内按权重平均，再跨类别平均。
该 benchmark 暂无已验证的得分。