Soft Clamp mengurangi panggilan berlebihan pada distilasi on-policy multi-guru

Peneliti mengidentifikasi ketidakseimbangan perilaku pada distilasi on-policy multi-guru di mana distilasi pengetahuan tergeneralisasi vanilla menyebabkan model memanggil alat secara berlebihan meskipun recall meningkat. Untuk mengatasi hal ini, mereka mengusulkan Soft Clamp, sebuah metode kalibrasi divergensi per-token yang secara dinamis memampatkan divergensi Jensen-Shannon tingkat token yang ekstrem sambil mempertahankan gradien tak-nol.

• Soft Clamp mengurangi panggilan berlebihan alat dari 13,7% menjadi 9,0% pada APIGen-MT relatif terhadap GKD vanilla.
• Metode ini mencocokkan akurasi keputusan distilasi pengetahuan tergeneralisasi vanilla.
• Dalam diagnostik multi-giliran BFCL, Soft Clamp menurunkan loop panggilan alat dan panggilan berulang di antara varian GKD.

Hasil-hasil ini menunjukkan bahwa distilasi on-policy multi-guru harus memantau di mana sinyal guru bekerja pada posisi tingkat token lokal daripada hanya mengandalkan metrik kerugian agregat.