研究人员成功解耦了大型语言模型中数学可解性知识和表述的内部表示，表明它们被编码为不同的、可线性解码的向量。研究表明，模型的捏造主要由表述的变化驱动，而非底层知识。

  • 知识和表述在多个LLM的模型隐藏状态中被识别为独立的潜在方向。
  • 捏造与表述表示的偏移相关，而非核心可解性知识。
  • 使用不可解线索进行提示可通过改变表述方向来减少捏造。
  • 激活引导可以机械地操纵这些表示以改善模型的拒绝回答行为。

这项工作允许对可解性信念进行独立分析和操纵，从而更有效地控制模型何时应拒绝回答。