El artículo presenta Neuron On-Policy Self-Distillation (Neuron-OPSD), un marco centrado en los datos que aprovecha las activaciones internas de las neuronas para guiar la selección de datos de entrenamiento y la construcción del contexto del maestro para modelos de lenguaje grandes. Este enfoque permite la autodistilación sin anotaciones sin requerir etiquetas ground-truth ni retroalimentación de interacción del mundo real.
- Aborda los inconvenientes de los métodos existentes donde las variantes basadas en SFT y GRPO sufren degradación del rendimiento fuera del dominio, y el RL on-policy basado en recompensas infla el error de calibración.
- Utiliza activaciones internas de neuronas para guiar tanto la selección de datos de entrenamiento como la construcción del contexto del maestro.
- Entrena el modelo mediante distilación on-policy desde la distribución del maestro, sin requerir etiquetas ground-truth en ninguna etapa.
Neuron-OPSD mejora el rendimiento en dominio mientras preserva la generalización entre dominios y mitiga el colapso de calibración en comparación con las líneas base anteriores sin anotaciones. Este marco es particularmente relevante para configuraciones donde la interacción en línea o la supervisión externa son costosas o inviables.