Peneliti menunjukkan bahwa mendistilasi guru penalaran 8B (deepseek-r1:8B) ke dalam model siswa 0,6B (Qwen3-0.6B melalui QLoRA) memungkinkan ekstraksi terstruktur volume tinggi dengan latensi dan biaya yang secara signifikan lebih rendah. Studi ini mengevaluasi pendekatan ini pada pemetaan artikel berita ke objek JSON yang berisi ringkasan dan label kategorikal, membandingkan model yang didistilasi dengan baseline few-shot prompting dan constrained decoding.
- Model siswa memproses setiap artikel dalam sekitar 0,8 detik, dibandingkan dengan 39 detik guru, memulihkan 58% kesenjangan kinerja relatif terhadap model dasar.
- Ini mengungguli constrained decoding sebesar +16,8 poin dan few-shot prompting sebesar +4,9 poin dalam skor kualitas ringkasan dari panel tiga juri buta.
- Kemampuan penalaran guru sangat penting untuk kualitas penulisan, karena mendistilasi dari guru non-penalaran ukuran yang sama tidak menghasilkan peningkatan dibandingkan model dasar yang tidak di-tune.
- Meskipun garis keturunan penalaran meningkatkan generasi ringkasan, hal itu menyebabkan lebih banyak fabrikasi pada artikel sumber tipis dibandingkan dengan guru berbasis instruksi, yang mempertahankan grounding yang lebih baik.
Temuan tersebut menunjukkan bahwa karena tidak ada satu mesin pun yang menang di setiap bidang, pendekatan optimal melibatkan peta perutean per bidang untuk pengayaan perangkat-on daripada mengandalkan satu model.