한 연구는 강화 학습을 사용하는 대규모 언어 모델이 생성하는 비즈니스 프로세스 모델의 품질에 보상 함수 설계가 어떻게 영향을 미치는지 조사했습니다. 연구원들은 구문론적, 화용론적, 의미적 품질을 최적화하기 위해 48가지 구성 조건 하에서 Llama 3.1 8B 및 Qwen 2.5 14B 모델을 훈련시켰습니다.
- RL은 의미 충실도를 유지하면서 화용론적 및 구문론적 품질을 크게 개선하고 출력 변동성을 6배 이상 줄입니다.
- 균등한 보상 가중치는 표적화된 가중치보다 일관되게 우수하며, 특정 차원을 강조하면 모델이 저품질 모드에 수렴할 수 있습니다.
- 설계 선택은 모델 아키텍처와 비자명한 상호작용을 합니다. 예를 들어, 무효성 패널티 및 SFT 초기화 효과는 Llama와 Qwen 간에 다릅니다.
이 결과는 보상 구성이 최적화 결과의 주요 결정 요인이며, 그 영향이 RL 자체를 적용할지 여부의 결정과 비교될 수 있음을 보여줍니다.