Pesquisadores propõem o MARGO (Mixed-Mode Advantage Regularization for Grounded Optimization), um framework de aprendizado por reforço projetado para mitigar a "alucinação induzida pelo pensamento" em grandes modelos de raciocínio. Este modo de falha ocorre quando rastros explícitos de pensamento anulam respostas corretas sem pensamento, levando a uma deriva factual.
- O MARGO utiliza rollouts sem pensamento como referências do mesmo modelo durante a estimativa de vantagem para avaliar se o pensamento explícito adiciona valor factual além da resposta direta.
- O framework constrói grupos de rollouts de modo misto contendo tanto trajetórias com pensamento quanto sem pensamento para suprimir o pensamento propenso a alucinações enquanto preserva comportamentos benéficos.
- Experimentos em benchmarks de QA orientados à factualidade demonstram confiabilidade factual melhorada em relação às bases fortes, enquanto avaliações em benchmarks matemáticos mostram a preservação da capacidade geral de raciocínio.