قام باحث مستقل بمراجعة أربع طرق لتكميم ما بعد التدريب شائعة الاستخدام—AWQ و GPTQ و OWQ و SpQR—لتحديد ما إذا كانت درجات أهمية القنوات تعكس بدقة حساسية الأوزان. من خلال إزعاج قنوات الأوزان الفردية في نماذج Qwen2.5-0.5B و Pythia-410M و SmolLM2-360M بإعدادات INT3 group-128، قاست الدراسة الضرر الفعلي عبر تباعد KL الأمامي.
- أظهرت المعايير الأربعة توافقًا عاليًا، لكن هذا كان ميكانيكيًا إلى حد كبير بسبب مشاركة إحصاء مدخلات واحد بدلاً من التقارب نحو الحقيقة.
- عند إزالة هذا الإحصاء المشترك، لم تعد ثلاث من الطرق الأربع تتعقب الحساسية الحقيقية تقريبًا.
- بقيت الدرجة القائمة على التدرج قوية واستمرت طوال عملية الاختبار.
- يلاحظ المؤلف أن التحقق الشامل غالبًا ما يخفي اختيار الأهمية السيئ لأن خطوات تعويض الخطأ تغطي الاختيارات السيئة.
يبحث الباحث عن ملاحظات حول الثغرات المنهجية المحتملة ويسعى للحصول على موافقة لتقديم الورقة إلى arXiv (cs.LG).