Исследователи представляют GeoSD, геометрический объект самодистилляции, предназначенный для предотвращения дрейфа вне распределения, характерного для дистилляции on-policy. Метод противодействует этому путем масштабирования предпочтений учителя с учетом перекрытия со студентом и штрафуя за дрейф предсказаний с помощью расстояния Фишера-Рао.
- Использует потерю Хеллингера для ослабления обучения на токенах, которые студент еще не может поддерживать.
- Применяет проксимальный член, измеряющий расстояние Фишера-Рао, для ограничения отклонения от недавних контрольных точек.
- Реализует обновления натурального градиента в геометрии распределений следующего токена.
- Улучшает среднюю точность OOD на 5.7-8.6 баллов по бенчмаркам математических рассуждений.
- Сохраняет преимущества для масштабов моделей от 1.7B до 32B параметров.
GeoSD сохраняет производительность внутри распределения, значительно улучшая обобщение за счет сохранения достижимости альтернативных предсказаний в состояниях с высокой энтропией.