В данном исследовании представлен уровеньный анализ смещения при оценивании в моделях LLM-as-Judge, рассматривающий скрытые состояния судьи, а не только возмущения входных и выходных данных. Авторы сообщают о результатах по семи судьям, семи типам смещений и девяти бенчмаркам.
- Смещённые входы смещаются вдоль низкоразмерного подпространства, специфичного для типа, которое становится более выраженным с глубиной, тогда как базовые входы занимают компактное многообразие активаций.
- Управление скрытыми состояниями вдоль этого подпространства направляет оценку в обоих направлениях, тогда как случайные направления приводят к сдвигам на порядок меньше.
- Линейная проекция на признаки направления смещения предсказывает сбои судьи на трёх невидимых бенчмарках, значительно превосходя текстовые альтернативы.
Чтение смещения как геометрии активаций объединяет геометрическую структуру, каузальный контроль и операционное прогнозирование в единой рамке.