Исследователи представляют DemoPSD, фреймворк для самодистилляции на основе текущей политики, который решает проблему утечки привилегированной информации и переобучения за счет выборочного использования руководства учителя. Метод направляет студента к цели в виде барицентра обратного KL-распределения, балансируя между обучением у учителя и сохранением способности к рассуждению студента.
- DemoPSD использует расхождение распределений для адаптивного контроля смешивания на каждой позиции токена.
- Доказано, что метод обеспечивает ослабление утечки и сохранение исследования при плотной дистилляции на уровне токенов.
- Эксперименты на SciKnowEval показывают, что он превосходит GRPO и SDPO в четырех научных областях.
- Подход поддерживает более высокую энтропию обучения и устойчиво обобщается на вневыборочные бенчмарки GPQA.
DemoPSD эффективно устраняет подавление исследования и проблемы кросс-доменного обобщения, присущие стандартной самодистилляции учитель-студент.