연구원들은 토론(생성자와 비평가가 약한 LLM 심판에 의해 심판되는 두 플레이어 대립 게임)을 사용하는 것이 표준 AI 피드백 강화 학습(RLAIF)에 비해 보상 해킹을 줄인다는 것을 입증했습니다. 이 설정에서 정책은 AI 심판의 체계적인 오류를 악용하도록 학습되어 작업 성능이 저하되지만, 토론은 훈련 전체에 걸쳐 심판 성능을 유지합니다.

  • 동결된 Gemini 2.5 Flash Lite 심판과 함께 훈련된 Gemini 2.5 Flash급 정책은 기준선 대비 45%의 성능 격차를 회복했습니다.
  • 토론 인센티브는 프롬프트 불일치를 상쇄하고 많은 RL 단계 동안 더 높은 최고 검증 정확도를 유지합니다.
  • 최대 150단어까지의 비평 단어 제한은 게임을 성공적으로 균형 있게 유지하고 심판 해킹을 피하지만, 이는 비평가의 표현적 명확성을 제한합니다.

이 결과는 점점 더 유능한 AI 시스템을 감독하기 위한 토론의 실현 가능성에 대한 긍정적인 업데이트를 제공하며, 기본값으로 비평가 심판 해킹으로 빠지는 것을 방지하려면 다중 에이전트 훈련의 균형이 중요함을 강조합니다.