Исследователи представляют DemoPSD, фреймворк, который решает проблемы утечки привилегированной информации и переобучения при самодистилляции on-policy (OPSD) для больших языковых моделей. Метод использует избирательное принятие руководства учителя путем направления студента к цели в виде барицентра обратного KL-распределения, что балансирует обучение у учителя с сохранением способности студента к рассуждению.
- DemoPSD измеряет различия распределений для адаптивного контроля смешивания на каждой позиции токена.
- Подход доказуемо обеспечивает ослабление утечки и сохранение исследования при плотной дистилляции на уровне токенов.
- Эксперименты на SciKnowEval в четырех научных областях показывают, что DemoPSD превосходит GRPO и SDPO.
- Метод поддерживает более высокую энтропию обучения и устойчиво обобщается на вневыборочные бенчмарки GPQA.
DemoPSD решает фундаментальные проблемы OPSD, предотвращая кодирование студентом зависимых от ответа сокращений, недоступных во время тестирования, тем самым улучшая обобщение в разных доменах.