Agon 프레임워크는 두 개의 경쟁하는 모델이 서로의 채점자로 작용하는 강화학습 방법을 도입하여, 표준 검증 가능한 보상 RL이 최종 답변만 채점한다는 한계를 해결합니다. 이 설정에서 하나의 모델은 솔루션을 초안하고 다른 모델은 이를 읽으며 동시에 해결하며, 경쟁자를 능가하는 해결에 대해 보상이 주어집니다.

  • 두 모델 모두 프로세스 레이블이나 별도의 보상 모델을 필요로 하지 않고 강화되는 상대를 점진적으로 능가하도록 최적화됩니다.
  • 추론 시, 이 쌍은 하나의 모델이 초안을 작성하고 다른 모델이 이를 읽은 후 답변하는 2단계 캐스케이드로 배포됩니다.
  • Qwen3를 사용한 DeepMath의 하드 분할에서 Agon은 GRPO의 pass@1을 두 배로 높이며, 훈련되지 않은 Mixture-of-Agents 접근법의 약 8배에 달하는 이득을 달성합니다.
  • 순서 효과는 경쟁 프로그래밍 코드와 Qwen3.5 및 Gemma 4를 포함한 모델 패밀리 전반에서 재현됩니다.

이 접근 방식은 추론이 훈련 중에 암묵적으로 평가되도록 하여, 단일 모델 RL로는 제공할 수 없는 점진적으로 강화되는 상대를 제공합니다.