Los investigadores proponen Neuron On-Policy Self-Distillation (Neuron-OPSD), un marco centrado en los datos que aprovecha las activaciones internas de las neuronas para guiar la selección de datos de entrenamiento y la construcción del contexto del maestro para modelos de lenguaje grandes. Este enfoque permite la autodistilación sin anotación mediante el entrenamiento del modelo a través de la distilación on-policy desde la distribución del maestro, eliminando la necesidad de etiquetas ground-truth.
El método aborda las limitaciones en las técnicas existentes de autoevolución sin anotación, como la degradación del rendimiento fuera del dominio en variantes basadas en SFT y GRPO, y la inflación del error de calibración en el RL on-policy basado en recompensas. Al utilizar activaciones de neuronas para guiar el proceso, Neuron-OPSD tiene como objetivo mejorar el rendimiento en tareas dentro del dominio mientras se preserva la generalización entre dominios.
El marco está diseñado para configuraciones donde la interacción en línea o la supervisión externa son costosas o inviables, ofreciendo una alternativa conceptualmente distinta a los enfoques de RL offline que dependen de trayectorias registradas con etiquetas de recompensa.