한 연구는 강화학습(RL) 사후 학습 자원 할당의 고정 예산 의사결정 문제를 조사하며, 특히 더 큰 정책, 확장된 훈련, 더 많은 롤아웃 탐색 또는 더 강력한 보상 피드백 중 무엇을 우선시해야 하는지 검토한다.
- 저자들은 GRPO 사후 학습을 위한 FLOP-accounting framework를 도입하여 컴퓨팅을 롤아웃/탐색, 정책 업데이트/학습, 보상 모델 평가로 분해했다.
- LoRA 적응형 Qwen2.5 정책에 대한 분석은 최적 전략이 모델 크기, 예산 및 보상 시스템에 따라 달라지는 조건부 할당 프론티어를 드러냈다.
- 더 큰 정책은 토큰당 컴퓨팅을 더 많이 소비하므로 동일한 총 예산 하에서 작은 모델보다 업데이트 또는 롤아웃 수가 적어진다.
- 보상 시스템 아키텍처는 회계에 상당한 영향을 미치며, 규칙 기반 보상은 비업데이트 컴퓨팅의 대부분을 롤아웃에 사용하는 반면 PRM 스타일 피드백은 가시적 예산을 추론에 할당한다.
- 논문은 비싼 검증 실행 전에 할당 레짐을 식별하기 위한 진단용 파일럿 그리드 프로토콜로 RACE를 제안한다.
저자들은 RL 사후 학습 논문이 모델 크기, 탐색, 학습 및 피드백 간의 컴퓨팅 특정 분할과 함께 총 FLOPs를 보고해야 한다고 주장한다.