Perbandingan antara GLM-5.3 dan varian distilasinya, GLM-5.3 Flash, pada benchmark DeepSWE mengungkapkan bahwa distilasi mempertahankan kemampuan coding inti sambil secara signifikan mengurangi biaya rollout. Model lengkap mencapai tingkat pass@1 sebesar 69,0% dengan biaya $3,99 per tugas, sedangkan varian Flash mencetak skor 63,4% hanya dengan biaya $0,24, yang mewakili pengurangan harga sebesar 17x.
- Kesenjangan kualitas menyempit dari 5,6 poin pada pass@1 menjadi 2,6 poin pada pass@4 (87,6% vs 85,0%), menunjukkan bahwa kerugian utamanya adalah keandalan bukan kemampuan.
- GLM-5.3 Flash menelan biaya $0,24 per rollout dibandingkan $3,99 untuk model lengkap, menghasilkan 264 tugas yang terpecahkan per $100 versus 17.
- Varian Flash kehilangan kemampuan mengubah upaya tambahan menjadi keberhasilan pada tugas-tugas flaky, dengan run yang lolos membutuhkan lebih banyak langkah hanya 46% dari waktu dibandingkan 61% untuk model lengkap.
- Distilasi membentuk ulang profil kinerja, meraih kemajuan dalam konkurensi, Python, dan pemodelan data sambil menyerahkan pekerjaan berbasis JavaScript dan query-heavy.
- Regresi yang signifikan adalah berkurangnya kehati-hatian, dengan Flash gagal pada tes baseline dalam 6,9% rollout versus 4,4% untuk model lengkap.
Menjalankan GLM-5.3 Flash terlebih dahulu dan meningkatkan ke model lengkap hanya saat ditolak menyelesaikan 80,9% tugas DeepSWE dengan biaya $1,70 per tugas, menawarkan strategi yang hemat biaya untuk beban kerja yang dibatasi throughput.