Agon 프레임워크는 두 개의 경쟁하는 모델이 서로의 추론 트레이스를 채점함으로써 검증 가능한 보상으로부터의 강화 학습을 가능하게 합니다. 이는 최종 답변만 채점하는 방식과 대조됩니다. 이 설정에서 한 모델은 솔루션을 초안하고 다른 모델은 교대 역할로 이를 해결하며, 프로세스 레이블이나 별도의 보상 모델 없이 경쟁 상대보다 더 나은 추론을 수행한 에이전트에 보상을 제공합니다.
- 두 모델이 동시에 최적화되며, 단일 모델 RL로는 제공할 수 없는 점진적으로 강력해지는 경쟁 상대와 맞섭니다.
- 추론 시, 이 쌍은 한 모델이 초안을 작성하고 다른 모델이 그 초안을 읽고 답변하는 2단계 캐스케이드로 배포됩니다.
- Qwen3를 사용한 DeepMath의 하드 분할에서 이 접근 방식은 GRPO의 pass@1 성능을 두 배로 높입니다.
- 이 순서는 경쟁 프로그래밍 코드와 Qwen3.5 및 Gemma 4를 포함한 모델 패밀리 전반에 걸쳐 재현됩니다.
이 방법은 추론이 훈련 중에 암묵적으로 평가되도록 하여, 현재 어려운 문제가 모델을 더 많이 쓰게 만드는 것이 아니라 더 잘 생각하게 만드는 문제를 해결합니다.