研究者らは、オンポリシー蒸留で一般的に見られる分布外ドリフトを防ぐために設計された幾何学的自己蒸留目的関数であるGeoSDを紹介する。この手法は、教師の好みを学生のオーバーラップでスケーリングし、フィッシャー・ラオ距離を用いて予測のドリフトにペナルティを与えることでこれに対抗する。

  • 学生がまだサポートできないトークンに対する教師信号を減衰させるためにヘリンガー損失を使用する。
  • 最近のチェックポイントからの逸脱を制限するためにフィッシャー・ラオ距離を測定する近接項を適用する。
  • 次トークン分布の幾何学内で自然勾配更新を実装する。
  • 数学的推論ベンチマーク全体で平均OOD精度を5.7〜8.6ポイント向上させる。
  • 1.7Bから32Bパラメータまでのモデルスケールにわたって利益を維持する。

GeoSDは、高エントロピー状態において代替予測が到達可能であることを保つことで、分布内パフォーマンスを維持しつつ汎化を大幅に強化する。