연구자들은 대규모 추론 모델에서 "사고 유도 환각"을 완화하기 위해 설계된 강화 학습 프레임워크인 MARGO(Grounded Optimization을 위한 Mixed-Mode Advantage Regularization)를 제안합니다. 이 실패 모드는 명시적인 사고 트레스가 올바른 비사고 답변을 덮어쓰고 사실적 드리프트를 유발할 때 발생합니다.
- MARGO는 우세 추정 동안 동일한 모델의 참조로 비사고 롤아웃을 사용하여 명시적인 사고가 직접 답변을 넘어 사실적 가치를 추가하는지 평가합니다.
- 이 프레임워크는 사고와 비사고 트레젝토리를 모두 포함하는 혼합 모드 롤아웃 그룹을 구성하여 환각에 취약한 사고를 억제하면서 유익한 행동은 보존합니다.
- 사실 중심 QA 벤치마크에서의 실험은 강력한 베이스라인보다 향상된 사실적 신뢰성을 보여주며, 수학 벤치마크에서의 평가는 일반적인 추론 능력이 보존되었음을 보여줍니다.