Pesquisadores propõem o Neuron On-Policy Self-Distillation (Neuron-OPSD), um framework centrado em dados que aproveita as ativações internas dos neurônios para guiar a seleção de dados de treinamento e a construção do contexto do professor para grandes modelos de linguagem. Esta abordagem permite a auto-distilação sem anotação, treinando o modelo por meio de distilação on-policy a partir da distribuição do professor, eliminando a necessidade de rótulos ground-truth.
O método aborda limitações nas técnicas existentes de auto-evolução sem anotação, como a degradação de desempenho fora do domínio em variantes baseadas em SFT e GRPO, e a inflação do erro de calibração no RL on-policy baseado em recompensa. Ao usar ativações de neurônios para guiar o processo, o Neuron-OPSD visa melhorar o desempenho em tarefas dentro do domínio, preservando a generalização entre domínios.
O framework é projetado para cenários onde a interação online ou a supervisão externa são custosas ou inviáveis, oferecendo uma alternativa conceitualmente distinta às abordagens de RL offline que dependem de trajetórias registradas com rótulos de recompensa.