연구자들은 온-정책 증류에서 흔히 발생하는 분포 외 드리프트를 방지하도록 설계된 기하학적 자기 증류 목적 함수인 GeoSD를 소개합니다. 이 방법은 교사의 선호도를 학생의 중첩으로 스케일링하고 피셔-라오 거리를 사용하여 예측 드리프트에 패널티를 부과함으로써 이를 극복합니다.
- 학생이 아직 지원할 수 없는 토큰에 대한 감독을 약화시키기 위해 헬링거 손실을 사용합니다.
- 최근 체크포인트로부터의 편차를 제한하기 위해 피셔-라오 거리를 측정하는 근접 항을 적용합니다.
- 다음 토큰 분포의 기하학 내에서 자연 그래디언트 업데이트를 구현합니다.
- 수학 추론 벤치마크 전반에 걸쳐 평균 OOD 정확도를 5.7~8.6 포인트 향상시킵니다.
- 1.7B에서 32B 파라미터에 이르는 모델 스케일 전반에 걸쳐 이점을 유지합니다.
GeoSD는 고엔트로피 상태에서 대체 예측이 도달 가능하도록 유지함으로써 분포 내 성능을 보존하면서 일반화를 크게 강화합니다.