研究人员提出了 MARGO（Mixed-Mode Advantage Regularization for Grounded Optimization），这是一种强化学习框架，旨在缓解大型推理模型中的“思考诱导幻觉”。这种故障模式发生在显式思考轨迹推翻正确的非思考答案时，导致事实漂移。

  • MARGO 在优势估计期间使用非思考 rollout 作为同模型参考，以评估显式思考是否在直接回答之外增加了事实价值。
  • 该框架构建包含思考和非思考轨迹的混合模式 rollout 组，以抑制易产生幻觉的思考，同时保留有益行为。
  • 在面向事实性的 QA 基准上的实验表明，相比强基线模型提高了事实可靠性，而在数学基准上的评估显示保留了通用推理能力。