对 Anthropic 的 Qwen3-4B 上 J-Space 幻觉信号的评估显示,工作区噪声能有效路由事实检索任务中的高置信度错误,但对内化神话视而不见,且与数学推理不兼容。

  • 在 PopQA 上,通过工作区噪声进行的路由以 100% 的精度捕获了错误,而输出 logprobs 产生的精度低于随机水平(87.5%)。
  • 该指标在 TruthfulQA 上崩溃,即使工作区噪声很低,模型仍有 84.9% 的时间是错误的。
  • 在事实数据集上校准的静态阈值在 GSM8K 上失效,因为逐步数学是一种结构上高熵的活动。

作者指出,工作区噪声能检测认识论猜测,但无法检测本体论谬误,并计划测试参数缩放以找到表面 logprobs 与内部清晰度匹配的位置。