Analisis kuantisasi KV Qwen3.6-27B menunjukkan Q8 dan Q6 konvergen dengan kuantisasi nilai berat

Seorang pengguna menguji efek kuantisasi cache kunci-nilai (KV) pada divergensi Kullback-Leibler (KLD) dari model Qwen3.6-27B milik bartowski menggunakan llama-perplexity pada GPU 5090 dengan konteks 50k.

• Model Q8 berkinerja lebih baik daripada Q6 dan Q5, dengan kesenjangan kinerja yang lebih lebar antara Q6 dan Q5 dibandingkan antara Q8 dan Q6.
• Baik Q8 maupun Q6 mengalami penurunan KLD yang curam ketika nilai (v) dikuantisasi menjadi q4_0, terlepas dari kuantisasi kunci.
• Saat menggunakan q4_0 untuk nilai, Q8 dan Q6 konvergen dalam kinerja, membuat (q8_0, q8_0) pada Q6 menjadi kompromi yang sangat efektif.
• Model Q5 lebih toleran terhadap kuantisasi nilai dibandingkan dengan model presisi lebih tinggi.

Analisis ini menunjukkan bahwa jika kendala VRAM memaksa kuantisasi berat, menggunakan KV presisi penuh pada Q6 hampir sama efektivnya dengan Q8, sementara Q8 tetap menjadi pilihan utama untuk akurasi pengkodean maksimum ketika sumber daya memungkinkan.