Исследователи предлагают MARGO (Mixed-Mode Advantage Regularization for Grounded Optimization), framework усиленного обучения с подкреплением, предназначенный для смягчения «галлюцинаций, вызванных рассуждением», в больших моделях для логических выводов. Этот режим сбоя возникает, когда явные цепочки рассуждений перевешивают правильные ответы без рассуждения, что приводит к фактическому дрейфу.
- MARGO использует нерассуждающие прогнаты (rollouts) в качестве ссылок той же модели во время оценки преимущества, чтобы оценить, добавляет ли явное рассуждение фактическую ценность по сравнению с прямым ответом.
- Framework формирует группы смешанных режимов прогнатов, содержащие как рассуждающие, так и нерассуждающие траектории, чтобы подавлять склонные к галлюцинациям рассуждения, сохраняя при этом полезные поведения.
- Эксперименты на фактоориентированных бенчмарках для QA демонстрируют улучшенную фактическую надежность по сравнению с сильными базовыми моделями, в то время как оценки на математических бенчмарках показывают сохранение общей способности к рассуждению.