Исследователи предлагают Neuron On-Policy Self-Distillation (Neuron-OPSD), фреймворк, ориентированный на данные, который использует внутренние активации нейронов для управления отбором обучающих данных и построением контекста учителя для больших языковых моделей. Этот подход позволяет проводить самодистилляцию без аннотаций, обучая модель посредством дистилляции on-policy от распределения учителя, что устраняет необходимость в метках ground-truth.
Метод решает ограничения существующих техник саморазвития без аннотаций, таких как деградация производительности вне домена в вариантах на основе SFT и GRPO, а также увеличение ошибки калибровки в on-policy RL на основе вознаграждения. Используя активации нейронов для управления процессом, Neuron-OPSD стремится улучшить производительность в задачах внутри домена, сохраняя при этом обобщающую способность между доменами.
Фреймворк предназначен для сценариев, где онлайн-взаимодействие или внешний надзор дороги или невозможны, предлагая концептуально отличное от подходов offline RL решение, которое опирается на записанные траектории с метками вознаграждения.