Исследование оценило, могут ли четыре передовые большие языковые модели (GPT, Claude Opus, Gemini и GLM) приближаться к экспертной оценке при проверке коротких ответов на команды Linux/bash от студентов второго курса компьютерной инженерии.
- Исследование использовало четырехуровневую когнитивную таксономию, охватывающую диапазон от извлечения информации до продвинутого управления системой, на основе 1200 реальных ответов студентов, оцененных тремя экспертами.
- Gemini 3.0 Pro с рубрик-ориентированным промптингом достигла наибольшего согласования между человеком и ИИ, с ICC(3,1) 0,888 и средней абсолютной ошибкой (MAE) 0,10.
- Согласование снижалось по мере увеличения уровня таксономии, при этом наибольшие расхождения наблюдались на уровнях высокой сложности.
- Для всех моделей качество рубрики оказывало большее влияние на производительность, чем выбор провайдера модели, а структурированные промпты последовательно улучшали согласование.
Эти результаты устанавливают обоснованную основу для определения вопросов, подходящих для оценки с помощью ИИ, и предоставляют переносимый протокол оценки и шаблоны промптов.