Los investigadores presentan GeoSD, un objetivo de auto-distilación geométrica diseñado para prevenir la deriva fuera de distribución común en la distilación on-policy. El método contrarresta esto escalando las preferencias del maestro con la superposición del estudiante y penalizando la deriva de la predicción utilizando la distancia Fisher-Rao.

  • Utiliza la pérdida Hellinger para atenuar la supervisión en los tokens que el estudiante aún no puede soportar.
  • Aplica un término proximal que mide la distancia Fisher-Rao para limitar la desviación desde los puntos de control recientes.
  • Implementa actualizaciones de gradiente natural dentro de la geometría de las distribuciones del siguiente token.
  • Mejora la precisión OOD promedio en 5.7-8.6 puntos a través de benchmarks de razonamiento matemático.
  • Mantiene las ganancias a través de escalas de modelos que van desde 1.7B hasta 32B parámetros.

GeoSD preserva el rendimiento dentro de la distribución mientras mejora significativamente la generalización al mantener alcanzables las predicciones alternativas en estados de alta entropía.