ある研究は、4つの最先端大規模言語モデル（GPT、Claude Opus、Gemini、GLM）が、コンピュータエンジニアリング2年生の学生からの短いLinux/bashコマンド応答を採点する際に、専門家の判断を近似できるかどうかを評価した。

  • 本研究は、3人の専門家によって採点された1200件の実際の学生応答にわたる、情報検索から高度なシステム管理までを含む4段階の認知分類法を利用した。
  • ルーブリック誘導プロンプティングを用いたGemini 3.0 Proが最も高い人間-AI一致度を実現し、ICC(3,1)は0.888、平均絶対誤差（MAE）は0.10であった。
  • 分類レベルが上がると一致度は低下し、最大の乖離はより高い複雑性レベルで発生した。
  • すべてのモデルにおいて、ルーブリックの質がモデルプロバイダーの選択よりもパフォーマンスに大きな影響を与え、構造化されたプロンプトが一貫して一致度を向上させた。

これらの結果は、AI支援採点に適した質問を決定するための原理的な枠組みを確立し、移植可能な評価プロトコルとプロンプトテンプレートを提供する。