Исследование изучает, усиливает ли постобучение с подкреплением (RL) лишь скрытые примитивные навыки или комбинирует их в новые стратегии более высокого уровня. Используя полностью наблюдаемую среду переписывания грамматики, исследование показывает, что RL реорганизует примитивную компетентность через фазовый композиционный механизм.
- RL решает задачи из тестовой выборки, которые редко решаются предварительно обученной моделью, даже при больших бюджетах сэмплирования, в то время как отклоняющая тонкая настройка (rejection fine-tuning) рано выходит на плато.
- RL укрепляет примитивные редукции перед обнаружением действительных составных процедур, включая последовательные и параллельные композиции.
- Эти составные процедуры повторно используются и консолидируются в стабильный репертуар, а не остаются изолированными примерами.
- Ключевое отличие RL от отклоняющей тонкой настройки заключается в селективности; RL концентрирует исследование на действительной повторно используемой структуре.
Появление композиционных стратегий зависит от того, как предварительное обучение организует примитивную компетентность в процедуры редукции, которые RL может сжать, позволяя ему строить надежные стратегии более высокого уровня из слабых процедурных компонентов.