Les chercheurs présentent GeoSD, un objectif d'auto-distillation géométrique conçu pour prévenir la dérive hors distribution courante dans la distillation on-policy. La méthode contrarie cela en mettant à l'échelle les préférences du professeur avec le chevauchement de l'étudiant et en pénalisant la dérive de prédiction à l'aide de la distance Fisher-Rao.
- Utilise la perte Hellinger pour atténuer la supervision sur les tokens que l'étudiant ne peut pas encore supporter.
- Applique un terme proximal mesurant la distance Fisher-Rao pour limiter l'écart par rapport aux checkpoints récents.
- Implémente des mises à jour de gradient naturel dans la géométrie des distributions de prochain token.
- Améliore la précision moyenne OOD de 5,7 à 8,6 points sur les benchmarks de raisonnement mathématique.
- Maintient les gains à travers les échelles de modèles allant de 1,7B à 32B paramètres.
GeoSD préserve la performance en distribution tout en améliorant significativement la généralisation en maintenant les prédictions alternatives accessibles aux états de haute entropie.