한 연구는 평가자의 판단에 대한 확률 보정이 "평가자 선호도 결합"을 완화할 수 있는지 조사합니다. 이는 체계적 편향이 LLM 에이전트의 전략으로 전파되는 현상입니다. 저자들은 이 완화 접근법의 첫 번째 분석을 제시하며, 허위 선호도 전파를 줄이기 위해 쌍별 판단에 보정을 적용했습니다.

  • DeepSeek-V4-Pro를 실행기, GLM5.2를 평가자로 사용한 통제 실험에서 신뢰도 보정된 TTRL은 표준 이진 업데이트와 비교하여 결합 계수 gamma를 20-49% 줄였습니다.
  • Jensen-Shannon 발산은 보정된 방법으로 인해 45-67% 감소했습니다.
  • 대칭 LR 제어를 통해 이러한 개선이 업데이트 비대칭성 감소로 인한 것이 아님을 확인했습니다.

저자들은 보정된 TTRL 프로토콜을 공개하고 LLM-as-judge 배포 파이프라인에 대한 경량 완화책으로 이를 권장합니다.