L'article présente Neuron On-Policy Self-Distillation (Neuron-OPSD), un cadre centré sur les données qui exploite les activations neuronales internes pour guider la sélection des données d'entraînement et la construction du contexte enseignant pour les grands modèles de langage. Cette approche permet une auto-distillation sans annotation, sans nécessiter d'étiquettes ground-truth ni de retour d'interaction en monde réel.
- Corrige les inconvénients des méthodes existantes où les variantes basées sur SFT et GRPO souffrent d'une dégradation des performances hors domaine, et où le RL on-policy basé sur la récompense gonfle l'erreur de calibration.
- Utilise les activations neuronales internes pour guider à la fois la sélection des données d'entraînement et la construction du contexte enseignant.
- Entraîne le modèle par distillation on-policy à partir de la distribution enseignant, sans nécessiter d'étiquettes ground-truth à aucune étape.
Neuron-OPSD améliore les performances sur les tâches in-domain tout en préservant la généralisation cross-domain et en atténuant l'effondrement de la calibration par rapport aux bases de référence sans annotation précédentes. Ce cadre est particulièrement pertinent dans les contextes où l'interaction en ligne ou la supervision externe est coûteuse ou irréalisable.