벤치마크 · general
RewardBench
RewardBench는 RLHF에 사용되는 보상 모델(reward model)을 평가하는 최초의 벤치마크이자 리더보드로, 보상 모델이 인간이 선호하는 응답(chosen)에 거부된 응답(rejected)보다 높은 점수를 주는 빈도를 측정하며 정확도(accuracy)로 표현한다.
자세히 보기
- 예시
- 하나의 프롬프트에 선호되는 응답과 거부되는 응답의 두 후보를 짝지은 것으로, 일반 대화(Chat), 적대적 Chat Hard, 안전성(Safety: 거부 대 응답), 추론(Reasoning: 수학/코드) 같은 범주에서 가져오며, 모델은 선호되는 응답을 더 높게 순위 매겨야 한다.
- 채점 방식
- 지표는 쌍별 정확도로, reward(chosen) > reward(rejected)인 예제의 비율이다. 정확도는 프롬프트마다 계산하고, 네 범주 각각의 내부에서 가중 평균한 뒤 범주 간 평균하여 하나의 종합 점수로 만든다.
- 검증 방식
- 개별 항목은 보상 모델이 chosen 응답에 rejected 응답보다 엄격히 더 높은 스칼라 보상을 부여할 때만 정답으로 계산되며, 결과는 약 2,985개 항목의 고정 데이터셋에서 집계되어 재현 가능한 비교를 위해 공개 리더보드에 게시된다.
- 왜 중요한가
- 보상 모델은 RLHF에서 정렬(alignment)을 이끌지만 오랫동안 간접적으로만 평가되어 왔다. RewardBench는 어렵고 안전에 중요하며 추론이 필요한 선호에서의 실패를 드러내는, 직접적이고 재현 가능한 척도를 제공한다.
예제 풀이
문제
하나의 삼중항: 프롬프트 — 「하늘이 파랗게 보이는 이유를 설명하라」. chosen — 짧은(파란) 파장의 레일리(Rayleigh) 산란에 관한 정확한 응답. rejected — 그럴듯하지만 틀린 응답(예: 「바다를 반사하기 때문」). 보상 모델은 각 (프롬프트, 응답) 쌍에 대해 스칼라 점수를 출력해야 한다.
해답
r(prompt, chosen) > r(prompt, rejected)일 때에만 그 항목은 정답으로 계산된다. 레일리 산란 응답(chosen)이 더 높은 스칼라 보상을 받으면 그 항목은 「승리」(win)가 되어 해당 범주의 정확도 집계에 1을 더한다(그렇지 않으면 0).
풀이
chosen 응답은 인간이 선호하고 사실적으로 옳으므로, 잘 정렬된 보상 모델은 이를 틀린 rejected 응답보다 위에 두어야 한다. 채점은 두 스칼라 보상의 순수한 쌍별 비교(chosen이 높으면 정답)이며, 이러한 「승리」는 범주 내에서 가중 평균되고 다시 범주 간에 평균된다.
이 벤치마크에 대해 아직 검증된 점수가 없습니다.