한 연구는 평가자 교체 모호성을 측정 타당도 문제로 취급하며, 후보 응답이 고정된 상태에서도 LLM-as-judge 점수가 변동할 수 있음을 입증한다. 저자들은 네 가지 판단 데이터셋에서 두 가지 업그레이드 경로를 비교했다: Qwen3 밀집 심사관을 1.7B에서 32B 파라미터로 스케일링하는 것, 그리고 MiniMax M2-M2.7 릴리스된 API 간을 이동하는 것이다.

  • Qwen3 1.7B에서 4B로의 업그레이드만이 견고한 인접 이득을 제공하며, MiniMax 인접 릴리스는 그렇지 않다.
  • 더 강력한 심사관은 위치 및 서술 길이 편향을 줄이지만 완전히 제거하지는 않는다.
  • 오류가 상관관계일 때 반복 샘플링 배심단은 거의 가치를 추가하지 않는다.
  • 구조화된 토론은 결정을 크게 바꿀 수 있지만, 파서 및 폴백 로그 없이는 그 변화를 숙고에 귀속시킬 수 없다.

저자들은 LLM-as-judge 보고서에 신뢰성을 보장하기 위해 데이터셋 슬라이스, 편향 프로브, 오류 의존성 추정치, 프로토콜 감사 추적 포함을 주장한다.