Peneliti memperkenalkan GeoSD, sebuah tujuan distilasi diri geometris yang dirancang untuk mencegah drift out-of-distribution yang umum terjadi dalam distilasi on-policy. Metode ini mengatasi hal tersebut dengan menskalakan preferensi guru dengan tumpang tindih siswa dan memberikan penalti pada drift prediksi menggunakan jarak Fisher-Rao.
- Menggunakan kerugian Hellinger untuk meredam pengawasan pada token yang belum dapat didukung oleh siswa.
- Menerapkan istilah proksimal yang mengukur jarak Fisher-Rao untuk membatasi penyimpangan dari checkpoint terbaru.
- Mengimplementasikan pembaruan gradien alami dalam geometri distribusi next-token.
- Meningkatkan akurasi OOD rata-rata sebesar 5,7-8,6 poin di seluruh benchmark penalaran matematika.
- Mempertahankan peningkatan di berbagai skala model mulai dari 1,7B hingga 32B parameter.
GeoSD mempertahankan kinerja in-distribution sambil secara signifikan meningkatkan generalisasi dengan menjaga prediksi alternatif tetap dapat dijangkau pada keadaan entropi tinggi.