Agon обеспечивает конкурентный кросс-модельный RL с неявной оценкой рассуждений соперником

Фреймворк Agon внедряет метод обучения с подкреплением, в котором две конкурирующие модели выступают судьями друг для друга, устраняя ограничение стандартного RL с верифицируемыми наградами, которое оценивает только финальные ответы. В этой конфигурации одна модель черновик решения, а другая читает его и решает одновременно, получая награды за то, что превосходит соперника.

• Обе модели оптимизируются для постепенного превосходства в рассуждениях перед укрепляющимся противником без необходимости меток процесса или отдельной модели вознаграждения.
• На этапе вывода пара разворачивается как двухэтапный каскад, где одна модель черновик, а другая отвечает после прочтения черновика.
• На сложном сплите DeepMath с Qwen3 Agon удваивает pass@1 GRPO, достигая примерно восьмикратного преимущества перед подходом Mixture-of-Agents без обучения.
• Эффект порядка воспроизводится на задачах по программированию и в семействах моделей, включая Qwen3.5 и Gemma 4.

Этот подход позволяет оценивать рассуждения неявно во время обучения, предоставляя постепенно усиливающегося соперника, который недоступен для RL с одной моделью.