Фреймворк Agon позволяет проводить обучение с подкреплением по верифицируемым наградам, заставляя две конкурирующие модели оценивать процессы рассуждения друг друга во время обучения. Вместо того чтобы полагаться на окончательные ответы или внешние модели вознаграждения, система использует механизм, в котором одна модель черновик решения, а другая решает его, меняясь ролями; пара получает награду за то, что превосходит своего соперника.
- Обе модели оптимизируются одновременно, сталкиваясь с прогрессивно усиливающимся противником, который недоступен для RL одной модели.
- Подход не требует меток процесса и работает без отдельной модели вознаграждения.
- На этапе вывода обученная пара развертывается как двухэтапный каскад, где одна черновик, а другая отвечает после прочтения черновика.
- На сложном сплите DeepMath с Qwen3 Agon удваивает показатель pass@1 GRPO.
- Метод дает примерно в восемь раз больше прироста по сравнению с непроверенным Mixture-of-Agents на той же базовой модели.
- Улучшения производительности воспроизводятся в задачах соревновательного программирования на коде и для разных семейств моделей, включая Qwen3.5 и Gemma 4.
Этот метод позволяет моделям неявно улучшать рассуждения, конкурируя друг с другом; будущая работа направлена на обеспечение взаимодействия в латентном пространстве.