В статье проблема неоднозначности замены оценщика рассматривается как проблема валидности измерений, демонстрируется, что оценки LLM-as-judge могут смещаться даже при фиксированных ответах кандидатов. На четырех наборах данных для суждений авторы сравнивают масштабирование плотных судей Qwen3 от 1.7B до 32B параметров и переключение между выпущенными API MiniMax M2-M2.7.

  • Только обновление с Qwen3 1.7B до 4B обеспечивает надежный прирост; другие обновления не взаимозаменяемы.
  • Последующие релизы MiniMax не дают последовательных улучшений стабильности измерений.
  • Более сильные судьи уменьшают, но не устраняют смещение позиции и многословия.
  • Повторные выборки жюри добавляют мало пользы, когда ошибки коррелированы.
  • Структурированные дебаты могут существенно изменить решения, но атрибуция требует журналов парсера и резервного режима.

Авторы утверждают, что отчеты LLM-as-judge должны включать срезы наборов данных, проверки на смещение, оценки зависимости ошибок и протоколы аудита для обеспечения надежности.