Agon представляет конкурентное кросс-модельное RL с неявной оценкой соперников

Фреймворк Agon позволяет проводить обучение с подкреплением по верифицируемым наградам, заставляя две конкурирующие модели оценивать рассуждения друг друга, а не только финальные ответы. В этой настройке одна модель составляет решение, а другая решает его в чередующихся ролях, вознаграждая агента, превзошедшего соперника в логике, без необходимости меток процесса или отдельной модели вознаграждения.

• Обе модели оптимизируются одновременно, сталкиваясь с прогрессирующе более сильным соперником, который недоступен для RL одной модели.
• На этапе вывода пара разворачивается как двухэтапный каскад, где одна модель составляет черновик, а другая отвечает после его прочтения.
• На сложной выборке DeepMath с Qwen3 этот подход удваивает показатель pass@1 GRPO.
• Порядок воспроизводится на задачах по конкурентному программированию на коде и в семействах моделей, включая Qwen3.5 и Gemma 4.

Этот метод позволяет неявно оценивать рассуждения во время обучения, решая проблему, при которой сложные задачи заставляют модели писать больше, а не думать лучше.