Исследование анализирует, как контролируемая дообучение (SFT), обучение с подкреплением (RL) и дистилляция на основе текущей политики (OPD) изменяют уверенность модели во время цепочки рассуждений. Авторы предлагают трёхэтапную калибровочную рамку, оценивающую уверенность до, во время и после рассуждений для оценки определения сложности, ранней остановки и агрегации ответов.
- OPD обеспечивает наиболее полезную уверенность до рассуждения для определения сложности.
- SFT предоставляет самый сильный онлайн-сигнал для ранней остановки.
- RL генерирует наиболее надёжный сигнал на уровне трассы для агрегации ответов.
- Надёжность уверенности зависит от позиции; RL становится информативным после фазы фиксации пути, тогда как OPD может стать инверсно калиброванным позже.
Авторы предлагают PosConf, стратегию, учитывающую позицию, которая улучшает агрегацию ответов RL на 6.1 балла по сравнению с большинством голосов и увеличивает выигрыш ранней остановки OPD до 4.3 баллов при строгих ограничениях на токены.