一名用户在多个开源模型（包括Gemma 4和Qwen变体）上测试了Anthropic的Global Workspace / Jacobian Lens论文，以评估其在本地推理中检测自信幻觉方面的实用性。

  • 该研究分析了Gemma E4B、12B、12B abliterated、26B MoE以及Qwen 3.6 27B模型在每模型500个TriviaQA问题上的工作区轨迹。
  • 在Gemma模型上，干净的工作区与77%的正确率相关，而嘈杂的工作区则降至42%，且工作区特征优于仅依靠输出置信度。
  • 基于工作区轨迹特征训练的逻辑回归路由器在预测错误答案方面取得了高AUC分数，特别是在Gemma E4B（0.787综合）和12B（0.843综合）上表现突出。
  • 该方法在Qwen 27B上失效，因为其输出置信度已经校准良好，且工作区特征未提供额外收益。
  • abliterated模型相比基础模型表现出更高的虚构实体生成率，表明“我不知道”信号的丢失。

研究结果表明，当输出置信度校准不佳时，Jacobian Lens工作区轨迹特征可作为本地到云端路由的有效单次风险信号。