一项受控研究发现，尽管最先进的语言大模型在聚合层面上看似对与任务无关的上下文具有鲁棒性，但这种稳定性掩盖了显著的逐例不稳定性。在基准测试问题前添加无语义意义的伪词会导致模型在一小部分示例上的预测发生显著变化。

  • 这种双向效应在某些示例上降低性能，而在其他示例上提高性能，并且在广泛的模型和数据集中保持一致。
  • 受影响的示例在很大程度上是特定于模型的，且不稳定性受上下文类型、上下文长度、测试时计算量和模型开发阶段的调节。

这些发现揭示了由上下文引发的、被聚合精度所掩盖的尾部风险，从而促使对语言模型进行逐例可靠性评估。