对来自三个家族（2B至14B）的五款指令微调模型的研究确定了LLM拒绝回答的两个不同维度：答案正确性和问题可答性。研究发现，普通的答案置信度跟踪答案是否正确，但对问题是否可答几乎视而不见，而基于隐藏状态的线性探针能检测出不可答性。

  • 在包含错误前提的问题（CREPE）上，标准指标保持在接近随机水平，而隐藏状态探针的AUROC达到0.69至0.77。
  • 指示模型检查前提会产生反效果，导致57%的错误挑战，但通过探针路由指令可将挑战精度提高三倍。
  • 一个同时认证可答性和正确性、覆盖率为0.75的校准策略，实现了0.31的正确答案覆盖率，相比之下单一阈值则失败了。

这种方法使得在任何规模下都能控制不可答问题的回答率，同时通过模型准确率限制错误回答率。