O artigo apresenta o Neuron On-Policy Self-Distillation (Neuron-OPSD), uma estrutura centrada nos dados que aproveita as ativações internas dos neurônios para orientar a seleção de dados de treinamento e a construção do contexto do professor para grandes modelos de linguagem. Essa abordagem permite auto-distilação sem anotações, sem exigir rótulos ground-truth ou feedback de interação do mundo real.
- Aborda as desvantagens dos métodos existentes, onde variantes baseadas em SFT e GRPO sofrem degradação de desempenho fora do domínio, e o RL on-policy baseado em recompensas infla o erro de calibração.
- Usa ativações internas de neurônios para orientar tanto a seleção de dados de treinamento quanto a construção do contexto do professor.
- Treina o modelo por meio de distilação on-policy da distribuição do professor, sem exigir rótulos ground-truth em nenhuma etapa.
O Neuron-OPSD melhora o desempenho na tarefa dentro do domínio enquanto preserva a generalização entre domínios e mitiga o colapso de calibração em relação às linhas de base anteriores sem anotações. Essa estrutura é particularmente relevante para configurações onde a interação online ou a supervisão externa são custosas ou inviáveis.