Исследователи решают проблему автоматической оценки эссе, когда преподаватели пересматривают или вводят новые критерии, что известно как кросс-рубричная обобщающая способность. Они предлагают фреймворк тонкой настройки для больших языковых моделей, который использует промежуточные представления, не зависящие от конкретных рубрик, называемые «чертами» (traits), вместе с контролем на основе целевых эссе во время обучения.
- Подход улучшает макро-F1 на 5.0% по сравнению с базовой линией без черт в самом сложном случае, когда как целевые рубрики, так и эссе не видны во время обучения.
- Увеличение объема контроля на основе целевых эссe дополнительно повышает производительность, позволяя лучшей открытой модели Llama, настроенной тонкой настройкой, превзойти GPT-5-mini по prompting на 2.1% макро-F1.
- Та же модель на базе Llama отстает от GPT-5 всего на 1.9% в этой оценке.
Эти результаты демонстрируют, что включение промежуточной структуры на основе черт и контролируемого контроля эффективно улучшает обобщающую способность к ранее невиданным критериям оценки.