Audit menemukan metrik saliens AWQ, GPTQ, OWQ bergantung pada statistik input bersama

Seorang peneliti independen mengaudit empat metode kuantisasi pasca-pelatihan yang banyak digunakan—AWQ, GPTQ, OWQ, dan SpQR—untuk menentukan apakah skor kepentingan saluran mereka secara akurat mencerminkan sensitivitas bobot. Dengan mengganggu saluran bobot individu dalam model Qwen2.5-0.5B, Pythia-410M, dan SmolLM2-360M pada pengaturan INT3 group-128, studi ini mengukur kerusakan nyata melalui divergensi KL maju.

• Keempat kriteria menunjukkan kesepakatan tinggi, tetapi hal ini sebagian besar mekanis karena berbagi satu statistik input daripada konvergensi menuju kebenaran.
• Ketika statistik bersama itu dihapus, tiga dari empat metode hampir tidak lagi melacak sensitivitas nyata.
• Skor berbasis gradien tetap robust dan bertahan sepanjang proses pengujian.
• Penulis mencatat bahwa validasi end-to-end sering kali menutupi pemilihan kepentingan yang buruk karena langkah kompensasi kesalahan menutupi pilihan yang buruk.

Peneliti tersebut mencari umpan balik mengenai lubang metodologis potensial dan mencari persetujuan untuk mengirimkan makalah ke arXiv (cs.LG).