研究人员提出了一种评估框架，该框架利用对项目文本嵌入的正则化回归来预测心理测量学属性，以解决项目校准中的冷启动问题。本研究将该方法应用于数学题库（EEDI）和医学执照基准测试（BEA 2024），并引入信度和设计上限作为性能的上限。

  • 从文本中可以高度预测项目难度，重复交叉验证的 R squared 达到 0.53，约占其信度上限的 57%。
  • 区分度和伪猜测参数似乎较难预测，但这源于目标信度较低，而非文本信号强度弱。
  • 文本在难度目标上均匀地恢复了 57% 至 63% 的可信方差，而 3PL 伪猜测参数的信度上限接近零。
  • 在 BEA 基准测试中，基于嵌入的回归与排行榜 RMSE 相匹配，尽管其解释的方差几乎为零，这凸显了对无尺度指标的必要性。
  • 单一的训练和测试划分会使 R squared 中的表观准确率膨胀 0.1 至 0.15，强调了重复交叉验证的必要性。

作者认为这一点很重要，因为它表明文本嵌入可以有效预测项目难度，并为基准测试校准支持应用提供了一个严谨的框架。