본 기사는 평가자 교체 모호성을 측정 타당성 문제로 다루며, 후보 응답이 고정된 상태에서도 LLM-as-judge 점수가 변동할 수 있음을 입증합니다. 네 가지 판단 데이터셋에 걸쳐 저자들은 Qwen3 밀집 판사를 1.7B에서 32B 파라미터로 확장하고 MiniMax M2-M2.7 릴리스 API 간 전환을 비교했습니다.
- Qwen3 1.7B에서 4B로의 업그레이드만이 견고한 인접 이득을 제공합니다; 다른 업그레이드는 상호 교환 가능하지 않습니다.
- MiniMax 인접 릴리스는 측정 안정성에서 일관된 개선을 가져오지 않습니다.
- 더 강력한 판사는 위치 및 서술 길이 편향을 줄이지만 완전히 제거하지는 않습니다.
- 오류가 상관관계가 있을 때 반복 샘플링 배심단은 거의 가치를 추가하지 않습니다.
- 구조화된 토론은 결정을 상당히 변경할 수 있지만, 귀속에는 파서 및 폴백 로그가 필요합니다.
저자들은 LLM-as-judge 보고서에 신뢰성을 보장하기 위해 데이터셋 슬라이스, 편향 탐지, 오류 의존성 추정치 및 프로토콜 감사 추적 포함을 주장합니다.