研究者らは、多次元項目反応理論（Item Response Theory）を用いて、個別プロンプトレベルで大規模言語モデルのベンチマークを検証する手法であるBenchMIRTを発表しました。100モデルと34,000問の質問のパフォーマンスを分析することで、このツールはベンチマークスコアを隠蔽しがちな安全や一般推論といった混在した能力を解きほぐします。

  • BenchMIRTは事前ラベリングなしで、安全と一般推論を独立して支配的な次元として復元しました。
  • BBQやWMDPなどのベンチマークが、意図された安全焦点よりも一般推論とより強く相関していることを明らかにしました。
  • この手法は最も情報量の多い質問を特定し、アイテムの10%のみを残すことでほぼ同等の評価能力を維持できることを示しています。
  • BenchMIRTは未見の質問の正解率を79%で予測し、より単純なベースラインアプローチを上回ります。

このアプローチにより、研究者はベンチマークが実際に何を測定しているかを理解し、情報量の少ない質問を除去することで、より効率的で焦点を絞った評価を設計できるようになります。