Les chercheurs proposent MARGO (Mixed-Mode Advantage Regularization for Grounded Optimization), un cadre d'apprentissage par renforcement conçu pour atténuer « l'hallucination induite par la réflexion » dans les grands modèles de raisonnement. Ce mode d'échec se produit lorsque des traces de réflexion explicites annulent des réponses correctes sans réflexion, entraînant une dérive factuelle.
- MARGO utilise des rollouts sans réflexion comme références du même modèle lors de l'estimation de l'avantage pour évaluer si la réflexion explicite ajoute une valeur factuelle au-delà de la réponse directe.
- Le cadre construit des groupes de rollouts en mode mixte contenant à la fois des trajectoires avec et sans réflexion pour supprimer les réflexions sujettes aux hallucinations tout en préservant les comportements bénéfiques.
- Les expériences sur des benchmarks QA orientés factualité démontrent une fiabilité factuelle améliorée par rapport aux bases solides, tandis que les évaluations sur des benchmarks mathématiques montrent la préservation de la capacité générale de raisonnement.