研究者は、項目のテキスト埋め込みに対して正則化回帰を用いて心理測定特性を予測する評価フレームワークを提案し、項目キャリブレーションにおけるコールドスタート問題に対処している。この手法は数学の項目バンク（EEDI）と医学国家試験ベンチマーク（BEA 2024）に適用され、性能の上限値として信頼性と設計上限が導入された。

  • 項目の難易度はテキストから高い予測可能性を持ち、繰り返しクロスバリデーションによるR二乗は0.53となり、これは信頼性上限の約57%に相当する。
  • 弁別力と擬似推測パラメータは予測が難しいように見えるが、これはテキスト信号強度の弱さではなく、目標とする信頼度が低いことに起因する。
  • テキストは一貫して難易度の目標に対して信頼できる分散の57〜63%を回復しており、一方、3PLモデルにおける擬似推測パラメータの信頼性上限はほぼゼロである。
  • BEAベンチマークでは、埋め込みベースの回帰はほとんど分散を説明していないにもかかわらずリーダーボードのRMSEと一致し、スケールフリーな指標の必要性を示している。
  • 単一の訓練/テスト分割はR二乗において0.1〜0.15の見かけ上の精度を過大評価する可能性があり、繰り返しクロスバリデーションの必要性を強調している。

著者らはこれを重要と考える。なぜなら、テキスト埋め込みが項目難易度を効果的に予測できることを示し、キャリブレーション支援アプリケーションのベンチマークのための厳密なフレームワークを提供しているからである。