Исследование показывает, что судьи на основе больших языковых моделей (LLM) склонны быть излишне снисходительными при оценке открытых ответов в условиях отсутствия эталонных данных, когда не предоставляется правильный ответ. Исследование демонстрирует, что эти модели часто ошибочно засчитывают неправильные ответы и что их решения сильно зависят от наличия справочной информации.
- Эксперименты по калибровке оценивали знание судейской моделью задачи, которую она оценивала.
- Эксперименты по чувствительности измеряли, как менялась производительность в зависимости от наличия и расположения эталонных ответов.
- В трёх языках добавление информации об эталонном ответе приводило к изменению решений о правильности/неправильности вплоть до 85% в некоторых настройках.
- Эти изменения, обусловленные справочной информацией, в целом совпадали с аннотациями людей при сравнении с их подмножеством.
Авторы подчеркивают необходимость калибровки судей на основе LLM с использованием образцов оценки, учитывающих наличие эталонных данных, перед их надёжным использованием в условиях без эталонных данных.