Исследование рассматривает неоднозначность замены оценщика как проблему валидности измерений, демонстрируя, что оценки LLM-as-judge могут смещаться даже при неизменных ответах кандидатов. Авторы сравнивают два пути обновления на четырех наборах данных для суждений: масштабирование плотных судей Qwen3 от 1.7B до 32B параметров и переход между выпущенными API MiniMax M2-M2.7.
- Только обновление с Qwen3 1.7B до 4B обеспечивает надежный прирост в соседних диапазонах, тогда как соседние релизы MiniMax этого не дают.
- Более сильные судьи уменьшают, но не устраняют смещение позиции и многословия.
- Повторные выборки жюри добавляют мало пользы, когда ошибки коррелированы.
- Структурированные дебаты могут существенно менять решения, но сдвиги нельзя приписывать обсуждению без логов парсера и резервного режима.
Авторы утверждают, что отчеты LLM-as-judge должны включать срезы наборов данных, проверки на смещения, оценки зависимости ошибок и протоколы аудита для обеспечения надежности.