Исследование изучает, усиливает ли постобучение с подкреплением (RL) лишь скрытые примитивные навыки или комбинирует их в новые стратегии более высокого уровня. Используя Transformer, предварительно обученный на цепочках переписывания символов и дообученный на задаче рассуждения на основе Trace, исследование показывает, что RL эффективнее решает нерассмотренные задачи по сравнению с отклоняющим тонким настройкой.
- RL реорганизует примитивную компетентность через фазовый составной механизм: сначала усиливая примитивные редукции, затем обнаруживая допустимые составные процедуры.
- Составные процедуры включают последовательные композиции, которые сворачивают упорядоченные цепочки, и параллельные композиции, объединяющие независимые сокращения в один шаг.
- Эти стратегии переиспользуются и консолидируются в стабильный репертуар, а не остаются изолированными примерами.
- RL концентрирует исследование на допустимых переиспользуемых структурах, тогда как отклоняющая тонкая настройка порождает множество недопустимых сокращений, похожих на обходные пути.
Появление составных стратегий ограничивается тем, организует ли предварительное обучение примитивную компетентность в процедуры редукции, которые RL может сжать. Базовая модель предоставляет слабые процедурные ингредиенты, из которых RL строит надежные стратегии более высокого уровня.