Los investigadores proponen MARGO (Mixed-Mode Advantage Regularization for Grounded Optimization), un marco de aprendizaje por refuerzo diseñado para mitigar la "alucinación inducida por el pensamiento" en grandes modelos de razonamiento. Este modo de fallo ocurre cuando las trazas explícitas de pensamiento anulan respuestas correctas sin pensamiento, lo que lleva a una deriva factual.
- MARGO utiliza rollouts sin pensamiento como referencias del mismo modelo durante la estimación de ventaja para evaluar si el pensamiento explícito añade valor factual más allá de la respuesta directa.
- El marco construye grupos de rollouts de modo mixto que contienen tanto trayectorias con pensamiento como sin pensamiento para suprimir el pensamiento propenso a alucinaciones mientras se preservan los comportamientos beneficiosos.
- Los experimentos en benchmarks de QA orientados a la factualidad demuestran una fiabilidad factual mejorada sobre las bases fuertes, mientras que las evaluaciones en benchmarks matemáticos muestran una capacidad general de razonamiento preservada.