본 기사는 LLM-as-judge 편향 연구용 합성 코퍼스 구축에서의 구조적 실패를 강조합니다. 공유 디코딩 예산 매개변수가 생성된 환각적 답변을 잘라내는 원인이 될 수 있습니다. 이 잘림으로 인해 판사(judge) 선택 정확도에 32포인트의 언어 간 붕괴가 발생했으며, 이는 집계된 통계적 검증이 아닌 원시 생성물의 수동 검사를 통해서만 감지할 수 있었습니다.
- 판정 호출과 생성 호출 간에 공유되는 매개변수가 한 프로듀서의 환각적 답변을 몇 단어로 잘랐습니다.
- 그 결과 생성된 항목들은 통계적으로 견고한 효과를 보였습니다: 한 판사의 선택 정확도에서 32포인트의 언어 간 붕괴가 발생했으며, N=50에서 N=500까지 재현되었습니다.
- 측정된 또 다른 편향(Markdown 형식 선호도)도 동일한 결함으로 인해 왜곡되었으며, 그 크기와 부호가 자극 길이에 따라 변화했습니다.
- 저자들은 이를 테스트 오라클 문제로 규정하며, 골드 정답의 결정론적 섭동을 통해 구축된 코퍼스는 문자열 비교를 통해 이러한 결함을 100% 정확하게 감지할 수 있음을 지적합니다.
저자들은 현대 다국어 LLM-as-judge 코퍼스의 대부분이 해당되는 오라클 없는 환경에서 작업하는 분석가들을 위한 검증 프로토콜을 제안합니다.