4B 및 8B 규모 언어 모델 및 비전-언어 모델에 대한 18회 실행에 대한 통제된 연구 결과, Group Relative Policy Optimization (GRPO)은 숙달된 작업에서 강력한 지도 학습 기준선 대비 성공률을 신뢰할 수 있게 개선하지 않는 것으로 나타났습니다. 중간에서 높은 학습률은 성능을 저하시키며, 이 방법은 샘플링된 정책이 탐욕적 정책보다 더 자주 성공할 때만 도움이 됩니다.
- 학습률, KL 가중치, 시드, 초기화, 클리핑의 변화에 걸쳐 성공률을 개선하는 구성은 없었습니다.
- 25개의 평가 시드와 6개의 훈련 시드를 사용한 쌍별 테스트에서도 귀무 결과가 유지되었습니다.
- GRPO는 보상이 샘플링으로 도달 가능한 작업에서 성공률을 22포인트 증가시켰습니다.
- 중간 학습률은 어텐션 및 MLP 블록을 저하시키며, 높은 학습률은 추적 가능한 그룹 국소화 없이 붕괴를 유발합니다.
- 4B에서는 후기 레이어의 유효 랭크가 능력을 추적하지만, 8B에서는 이러한 결합이 사라집니다.
이 실패는 GRPO가 이미 작업을 숙달한 에이전트에게는 효과가 없으며, 주로 기존 행동을 재형성할 뿐 새로운 기술을 추가하지 않음을 나타냅니다.