Les chercheurs proposent Neuron On-Policy Self-Distillation (Neuron-OPSD), un cadre centré sur les données qui exploite les activations neuronales internes pour guider la sélection des données d'entraînement et la construction du contexte enseignant pour les grands modèles de langage. Cette approche permet une auto-distillation sans annotation en entraînant le modèle par distillation on-policy à partir de la distribution enseignant, éliminant ainsi le besoin d'étiquettes ground-truth.
La méthode comble les limites des techniques existantes d'auto-évolution sans annotation, telles que la dégradation des performances hors domaine dans les variantes basées sur SFT et GRPO, et l'inflation de l'erreur de calibration dans le RL on-policy basé sur la récompense. En utilisant les activations neuronales pour guider le processus, Neuron-OPSD vise à améliorer les performances des tâches in-domain tout en préservant la généralisation cross-domain.
Le cadre est conçu pour les contextes où l'interaction en ligne ou la supervision externe est coûteuse ou irréalisable, offrant une alternative conceptuellement distincte aux approches RL hors ligne qui reposent sur des trajectoires enregistrées avec étiquettes de récompense.