研究者たちは、教育者がルーブリックを改訂または新規導入する際に生じる自動化エッセイ採点の課題、すなわち「クロスルーブリック一般化」というシナリオに対処しています。彼らは、トレーニング中にターゲットエッセイの教師ありデータと併用して、「特性（traits）」と呼ばれるルーブリック非依存の中間表現を活用する大規模言語モデルのためのファインチューニングフレームワークを提案します。

  • 特性なしのベースラインと比較して、トレーニング中にターゲットルーブリックもエッセイも未見である最も困難な設定において、マクロF1が5.0%向上しました。
  • ターゲットエッセイによる教師ありデータをさらに増やすとパフォーマンスがさらに向上し、最良のファインチューニング済みオープンソースLlamaベースモデルがGPT-5-miniのプロンプティングをマクロF1で2.1%上回る結果となりました。
  • 同じLlamaベースモデルは、この評価においてGPT-5にわずか1.9%及ばない結果でした。

これらの結果は、特性ベースの中間構造と制御された教師ありデータを組み込むことが、以前未見であった採点ルーブリックへの一般化を効果的に改善することを示しています。