研究人员解决了自动作文评分的挑战,即当教育工作者修订或引入新评分标准时,这种情况被称为跨评分标准泛化。他们提出了一种针对大型语言模型的大规模微调框架,该框架利用称为“特质”的与评分标准无关的中间表示,并在训练期间结合目标作文的监督。
- 在最困难的情况下(训练期间既未见目标评分标准也未见目标作文),该方法使宏观 F1 分数比没有特质的基线提高了 5.0%。
- 增加目标作文的监督进一步提升了性能,使得最佳微调的开源 Llama 模型在宏观 F1 上以 2.1% 的优势超越 GPT-5-mini 的提示方法。
- 在同一评估中,该基于 Llama 的模型仅落后于 GPT-5 1.9%。
这些结果表明,结合基于特质的中间结构和受控监督能有效提升对先前未见评分标准的泛化能力。