Автор ставит под сомнение практику дообучения моделей на суммаризированных или цензурированных трассах цепочки рассуждений (CoT) уровня SOTA, утверждая, что это не волшебное решение для улучшения качества вывода.
- Дистилляция не повышает качество вывода выше того, на что способен базовая модель.
- Дообучения на основе моделей Fable и Anthropic подвергаются критике, поскольку их трассы рассуждений существенно отличаются от реальных выходов моделей.
- Это несоответствие гарантирует, что итоговые дообученные модели будут работать хуже, чем раньше.
Автор предполагает, что опора на такие суммаризированные трассы контрпродуктивна для улучшения способностей к рассуждению.