Исследователи представляют CANON (Consensus-ANchored self-distillatiON) — метод обучения без меток, который преобразует сигнал консенсуса от сэмплирования нескольких решений в плотное токено-уровневое обучение. Для каждого немаркированного промпта метод извлекает большинство ответов и использует его для условия замороженного снимка модели, которая затем обучает модель на собственных роллаутах на каждом токене.
- CANON улучшает pass@1 до 12 баллов на математических и научных бенчмарках.
- Он превосходит обучение без меток по RL на 6 баллов, используя лишь седьмую часть вычислений.
- Метод приближается к уровню производительности моделей-учителей, обученных на золотых решениях.
- Обученный на объединённых немаркированных данных, он переносится на отложенные бенчмарки, соответствуя методам с золотыми метками.
Авторы считают это важным, потому что улучшения не просто усиливают распределение; после обучения модель решает задачи, которые ранее никогда не решала в 32 попытках, а её собственное большинство голосов становится более точным.