Pengguna menguji dampak kuantisasi pada kemampuan model tertentu

Seorang pengguna Reddit melakukan pengujian sistematis yang membandingkan model FP16 dengan berbagai tingkat kuantisasi GGUF, dengan menguraikan kinerja berdasarkan kemampuan daripada menggunakan skor agregat. Analisis mencakup matematika (GSM8K), kode (HumanEval), penalaran (ARC-Challenge), dan pengambilan pengetahuan (MMLU-Pro).

• Pada model 27B, Q4_K_M menyebabkan degradasi kurang dari 2% dalam tugas percakapan tetapi menurunkan akurasi matematika multi-langkah hampir sebesar 9%.
• Q5_K_M secara efektif menghilangkan kesenjangan kinerja matematika dibandingkan dengan FP16.
• Penulis menyoroti kurangnya data yang rigor mengenai peluruhan konteks, mempertanyakan apakah model terkuantisasi kehilangan akurasi pengambilan lebih cepat daripada FP16 saat jendela konteks terisi.

Postingan tersebut berargumen bahwa meskipun terdapat data komunitas tentang pemilihan model, ada kesenjangan signifikan dalam panduan untuk memilih tingkat kuantisasi yang tepat untuk kasus penggunaan spesifik dan kendala perangkat keras.