Agon 프레임워크는 두 개의 경쟁 모델이 훈련 중 서로의 추론 과정을 채점함으로써 검증 가능한 보상으로부터의 강화 학습을 가능하게 합니다. 최종 답변이나 외부 보상 모델에 의존하는 대신, 시스템은 한 모델이 솔루션을 초안하고 다른 모델이 교대 역할로 이를 해결하는 메커니즘을 사용하며, 라이벌을 압도하는 쌍에게 보상을 부여합니다.
- 두 모델 모두 동시에 최적화되며, 단일 모델 RL로는 제공할 수 없는 점진적으로 더 강력한 상대와 맞서게 됩니다.
- 이 접근 방식에는 프로세스 라벨이 필요 없으며 별도의 보상 모델 없이 작동합니다.
- 추론 시 훈련된 쌍은 초안을 작성하는 모델과 초안을 읽고 답변하는 모델로 구성된 2단계 캐스케이드로 배포됩니다.
- Qwen3를 사용한 DeepMath의 하드 분할에서 Agon은 GRPO의 pass@1 점수를 두 배로 높입니다.
- 이 방법은 동일한 기본 모델에 대한 훈련되지 않은 Mixture-of-Agents 패스 대비 약 8배의 이득을 제공합니다.
- 성능 향상은 경쟁 프로그래밍 코드와 Qwen3.5 및 Gemma 4를 포함한 다양한 모델 패밀리 전반에서 재현됩니다.
이 방법을 통해 모델은 서로 경쟁함으로써 추론 능력을 암묵적으로 개선할 수 있으며, 향후 작업에서는 잠재 공간 상호작용을 가능하게 하는 것을 목표로 합니다.