研究者らは、大型推論モデルにおける「思考誘発型幻覚」を緩和するために設計された強化学習フレームワークであるMARGO（Grounded OptimizationのためのMixed-Mode Advantage Regularization）を提案する。この失敗モードは、明示的な思考のトレースが正しい非思考回答を上書きし、事実のドリフトを引き起こす際に発生する。

  • MARGOは、優勢推定中に同じモデルの参照として非思考ロールアウトを使用し、明示的な思考が直接回答を超えて事実的価値を追加するかどうかを評価する。
  • このフレームワークは、思考と非思考の両方のトラジェクトリを含む混合モードロールアウトグループを構築し、幻覚を起こしやすい思考を抑制しつつ有益な行動を保持する。
  • 事実指向のQAベンチマークでの実験は、強力なベースラインを上回る事実的な信頼性を示しており、数学的ベンチマークでの評価は一般的な推論能力が保持されていることを示している。