作者引入了认知立场灵活性探测(Epistemic Stance Flexibility Probing, ESFP),这是一个行为基准测试,旨在衡量大语言模型区分外部归因提示和自归因提示的能力。ESFP 使用 104 个受控项目,在六个认识论类别中评估这种能力,评估词汇自归因、表示层响应性、立场内容密度以及跨条件一致性。

  • 对来自五家供应商的八个前沿模型的评估表明,认识论灵活性在很大程度上与模型的一般能力正交。
  • 一个拥有 27B 参数的开源模型在该特定指标上达到了最强专有系统的性能水平。
  • 某个系列的主力模型表现不及其轻量级对应模型,而针对推理优化的模型并未始终表现出更高的灵活性。
  • 立场内容密度为测量灵活性提供了最强的信号,而像“我认为”这样的表层词汇标记可能会发生变化,但所表达的立场却没有相应改变。

ESFP 衡量的是模型在归因条件变化时调整其认识论立场的倾向,而非作为一般能力的度量。