Pesquisadores introduzem o GeoSD, um objetivo de auto-distilação geométrica projetado para prevenir a deriva fora da distribuição comum na distilação on-policy. O método combate isso escalando as preferências do professor com a sobreposição do aluno e penalizando a deriva da previsão usando a distância Fisher-Rao.
- Usa perda Hellinger para atenuar a supervisão em tokens que o aluno ainda não consegue suportar.
- Aplica um termo proximal medindo a distância Fisher-Rao para limitar o desvio das checkpoints recentes.
- Implementa atualizações de gradiente natural dentro da geometria das distribuições do próximo token.
- Melhora a precisão média OOD em 5.7-8.6 pontos através de benchmarks de raciocínio matemático.
- Mantém os ganhos em escalas de modelos que variam de 1.7B a 32B parâmetros.
O GeoSD preserva o desempenho dentro da distribuição enquanto melhora significativamente a generalização, mantendo previsões alternativas alcançáveis em estados de alta entropia.