В статье представлена Neuron On-Policy Self-Distillation (Neuron-OPSD), фреймворк, ориентированный на данные, который использует внутренние активации нейронов для управления отбором обучающих данных и построением контекста учителя для больших языковых моделей. Этот подход позволяет проводить самодистилляцию без аннотаций, не требуя меток ground-truth или обратной связи от реального взаимодействия.
- Устраняет недостатки существующих методов, где варианты на основе SFT и GRPO страдают от деградации производительности вне домена, а он-политический RL на основе вознаграждений завышает ошибку калибровки.
- Использует внутренние активации нейронов для управления как отбором обучающих данных, так и построением контекста учителя.
- Обучает модель посредством дистилляции on-policy из распределения учителя, не требуя меток ground-truth ни на одном этапе.
Neuron-OPSD улучшает производительность в домене, сохраняя обобщение между доменами и смягчая коллапс калибровки по сравнению с предыдущими базовыми моделями без аннотаций. Этот фреймворк особенно актуален для ситуаций, где онлайн-взаимодействие или внешнее обучение затруднены или невозможны.