Para peneliti mengusulkan MARGO (Mixed-Mode Advantage Regularization for Grounded Optimization), sebuah kerangka kerja pembelajaran penguatan yang dirancang untuk mereduksi "halusinasi yang diinduksi pemikiran" pada model penalaran besar. Mode kegagalan ini terjadi ketika jejak pemikiran eksplisit menimpa jawaban non-pemikiran yang benar, menyebabkan pergeseran faktual.
- MARGO menggunakan rollouts non-pemikiran sebagai referensi model yang sama selama estimasi keunggulan untuk mengevaluasi apakah pemikiran eksplisit menambah nilai faktual di luar jawaban langsung.
- Kerangka kerja ini membangun grup rollout mode campuran yang berisi lintasan pemikiran dan non-pemikiran untuk menekan pemikiran yang rentan halusinasi sambil mempertahankan perilaku yang bermanfaat.
- Eksperimen pada benchmark QA berorientasi fakta menunjukkan keandalan faktual yang lebih baik dibandingkan baseline yang kuat, sementara evaluasi pada benchmark matematika menunjukkan kemampuan penalaran umum tetap terjaga.