연구는 강화 학습(RL) 사후 훈련이 잠재된 원시 기술을 단순히 증폭시키는 것인지, 아니면 새로운 상위 수준의 전략으로 구성하는 것인지를 조사합니다. 심볼 재작성 체인으로 사전 학습되고 Trace 기반 추론 작업으로 사후 학습된 Transformer를 사용하여, 이 연구는 RL이 거부 파인튜닝보다 홀드아웃 문제를 더 효과적으로 해결한다는 것을 발견했습니다.
- RL은 단계적 구성 메커니즘을 통해 원시 능력을 재구성하며, 먼저 원시 축약을 강화한 다음 유효한 구성 절차를 발견합니다.
- 구성 절차에는 순차적 체인을 압축하는 순차적 구성과 단일 단계에서 독립적인 수축을 결합하는 병렬 구성이 포함됩니다.
- 이러한 전략은 재사용되며 고립된 샘플로 남아 있지 않고 안정적인 레퍼토리로 통합됩니다.
- RL은 유효한 재사용 가능한 구조로 탐색을 집중시키는 반면, 거부 파인튜닝은 많은 무효한 단축형 재작성을 생성합니다.
구성적 전략의 출현은 사전 학습이 원시 능력을 RL이 압축할 수 있는 축약 절차로 조직하는지에 의해 게이트됩니다. 기본 모델은 약한 절차적 재료를 제공하며, RL은 이를 신뢰할 수 있는 상위 수준의 전략으로 구축합니다.