一项研究评估了四个前沿大型语言模型（GPT、Claude Opus、Gemini和GLM）在对二年级计算机工程学生的简短Linux/bash命令回答进行评分时，能否近似专家判断。

  • 该研究利用了一个涵盖从信息检索到高级系统管理的四级认知分类法，对三位专家评阅的1200份真实学生回答进行了评估。
  • Gemini 3.0 Pro使用基于量规的提示实现了最高的人机一致性，ICC(3,1)为0.888，平均绝对误差（MAE）为0.10。
  • 随着分类法层级的增加，一致性下降，最大差异出现在较高复杂度层级。
  • 在所有模型中，量规的质量对性能的影响大于模型提供商的选择，结构化提示始终能提高一致性。

这些结果确立了确定哪些问题适合AI辅助评分的原则性框架，并提供了一种可转移的评估协议和提示模板。