Sebuah kluster HPC universitas melakukan benchmarking terhadap kuantisasi Qwen3.6, menemukan bahwa meskipun skor pengetahuan tetap stabil, format presisi rendah secara signifikan menurunkan kemampuan agentic.
- Hasil GPQA Diamond menunjukkan variasi minimal di berbagai tingkat kuantisasi.
- Skor Terminal-Bench 2 menunjukkan regresi yang signifikan dalam kuantisasi presisi rendah.
- Hasilnya lebih rendah daripada benchmark FP8 resmi Qwen karena pengaturan timeout yang lebih pendek (10 menit hingga 1 jam vs. 3 jam).
- Beberapa kali jalankan mengungkapkan variasi skor yang cukup besar, di mana satu jalankan presisi tinggi yang buruk dapat kalah performa dari jalankan presisi rendah yang baik.
Temuan ini membantu pengguna memahami trade-off kuantisasi untuk tugas-tugas agentic versus retensi pengetahuan.