Sebuah studi menunjukkan bahwa kompresi aware-seksi dari jejak penalaran self-distilled memungkinkan model Qwen3.5-4B dan Gemma-4-12b mencocokkan atau melampaui kinerja asli dengan menggunakan token yang jauh lebih sedikit. Dengan mempertahankan rentang komputasi dan verifikasi sambil memampatkan narasi, metode ini menghindari kegagalan decoding serakah yang terkait dengan kompresi datar.
- Kompresi datar menyebabkan decoding serakah gagal, berputar pada 93% masalah GSM8K pada suhu 0.
- Kompresi aware-seksi meningkatkan akurasi sebesar +.15 pada GSM8K dibandingkan kontrol SFT tanpa kompresi sambil menggunakan ~1.7x lebih sedikit token.
- Melatih tanpa prompt sistem dan melayani dengan prompt tersebut menghasilkan hasil terbaik, karena prompt bertindak sebagai pemicu efisiensi.
- Perilaku kompresi dapat diaktifkan melalui prompt identitas, memungkinkan model beralih antara penalaran ringkas dan output yang tidak dikompresi.
- Model guru yang lebih kuat menghasilkan hasil yang lebih buruk daripada SFT tanpa kompresi, menunjukkan bahwa jejak harus tetap dekat dengan distribusi siswa.
- Pendekatan ini berhasil ditransfer ke model yang lebih besar; Gemma-4-12b mencapai akurasi .86 pada GSM8K di 1,679 token dibandingkan .57 di 3,753 untuk versi asli.
Penelitian ini menyoroti bahwa mempertahankan rentang komputasi mengjangkar terminasi dan meningkatkan efisiensi, dengan kode lengkap, model, dan dataset tersedia.