한 연구에 따르면 대규모 언어 모델(LLM) 판사는 정답이 제공되지 않는 참조 없는 환경에서 자유 응답을 평가할 때 지나치게 관대하게 판단하는 경향이 있는 것으로 드러났다. 이 연구는 이러한 모델들이 종종 오답을 잘못 인정하며, 그 판단이 참조 정보의 존재에 매우 민감함을 보여준다.

  • 교정 실험은 판사 모델이 평가 중인 작업에 대한 지식을 평가했다.
  • 민감도 실험은 참조 정답의 존재와 배치에 따라 성능이 어떻게 변화하는지를 측정했다.
  • 세 언어 전반에서 참조 정답 정보를 추가하면 일부 설정에서 정답/오답 결정이 최대 85%까지 뒤바뀌었다.
  • 이러한 참조 기반 변화는 하위 집합과 비교할 때 인간 주석과 일반적으로 일치했다.

저자들은 참조 없는 환경에서 LLM 판사를 신뢰하고 사용하기 전에 참조 인식 평가 샘플을 사용하여 교정할 필요성을 강조한다.