В статье подчеркивается структурный сбой при создании синтетических корпусов для исследований предвзятости LLM-as-judge, где общие параметры бюджета декодирования могут обрезать сгенерированные галлюцинированные ответы. Это обрезание вызвало 32-балльное межъязыковое падение точности выбора судьи, которое можно было обнаружить только путем ручного осмотра сырых генераций, а не агрегированных статистических проверок.

  • Общий параметр между вызовами оценки и генерации обрезал галлюцинированные ответы одного производителя до нескольких слов.
  • Полученные элементы дали статистически надежный эффект: 32-балльное межъязыковое падение точности выбора одним судьей, воспроизведенное от N=50 до N=500.
  • Вторая измеренная предвзятость (предпочтение формату Markdown) была искажена той же ошибкой, при этом ее величина и знак менялись в зависимости от длины стимула.
  • Авторы описывают это как проблему тестового оракула, отмечая, что корпуса, построенные путем детерминированного возмущения золотого ответа, позволяют обнаруживать такие ошибки со 100% точностью с помощью сравнения строк.

Авторы предлагают протокол валидации для аналитиков, работающих в условиях отсутствия оракула, что характерно для большинства современных многоязычных корпусов LLM-as-judge.