연구는 강화 학습(RL) 사후 훈련이 잠재된 원시 기술을 단순히 증폭시키는 것인지, 아니면 새로운 상위 수준의 전략으로 구성하는 것인지를 조사합니다. 완전히 관측 가능한 재작성 문법 환경을 사용하여, 이 연구는 RL이 단계적 구성 메커니즘을 통해 원시 능력을 재구성한다는 것을 발견했습니다.
- RL은 사전 훈련된 모델이 거의 해결하지 못한 홀드아웃 문제를 해결하며, 더 큰 샘플링 예산으로도 거부 파인튜닝은 초기에 정체됩니다.
- RL은 유효한 구성된 절차(순차적 및 병렬 구성 포함)를 발견하기 전에 원시 감소를 강화합니다.
- 이러한 구성된 절차는 재사용되며 고립된 샘플로 남지 않고 안정적인 레퍼토리로 통합됩니다.
- RL과 거부 파인튜닝의 주요 차이는 선택성이며, RL은 탐색을 유효하고 재사용 가능한 구조에 집중합니다.
구성 전략의 출현은 사전 훈련이 원시 능력을 RL이 압축할 수 있는 감소 절차로 조직하는지에 달려 있으며, 이를 통해 약한 절차적 요소로부터 신뢰할 수 있는 상위 수준의 전략을 구축할 수 있습니다.