Sebuah studi baru menantang ketergantungan pada akurasi dan perplexity untuk mengevaluasi kuantisasi pasca-pelatihan dalam model bahasa besar, menunjukkan bahwa metrik-metrik ini gagal menangkap perubahan perilaku yang signifikan. Para penulis memperkenalkan "kesepakatan kebenaran", sebuah metrik tingkat keputusan yang mengukur tumpang tindih prediksi antara model dasar dan model terkuantisasi, mengungkapkan bahwa divergensi perilaku muncul di bawah kuantisasi moderat meskipun kinerja tugas tampaknya terjaga.

  • Analisis kuantisasi sebagai operator struktural pada bobot perhatian mengidentifikasi titik belok non-linear pada lebar bit rendah.
  • Proyeksi query dan kunci ditemukan secara konsisten lebih sensitif terhadap distorsi dibandingkan proyeksi nilai dan output.
  • Studi ini mencakup berbagai model dan skema kuantisasi mulai dari 8-bit hingga 2-bit.

Temuan-temuan ini mengungkap ilusi kesetaraan antara model dasar dan model terkuantisasi, memotivasi adopsi metrik evaluasi perilaku di luar ukuran kinerja konvensional.