一位独立研究人员对四种广泛使用的后训练量化方法——AWQ、GPTQ、OWQ 和 SpQR——进行了审计，以确定它们的通道重要性评分是否准确反映了权重敏感性。通过在 INT3 group-128 设置下扰动 Qwen2.5-0.5B、Pythia-410M 和 SmolLM2-360M 模型中的单个权重通道，该研究通过前向 KL 散度测量了实际损害。

  • 这四个标准显示出高度的一致性，但这主要是机械性的，因为它们共享一个输入统计量，而非收敛于真理。
  • 当移除该共享统计量时，四种方法中有三种几乎不再跟踪真实的敏感性。
  • 一种基于梯度的评分保持稳健，并在整个测试过程中经受住了考验。
  • 作者指出，端到端验证往往会掩盖糟糕的重要性选择，因为误差补偿步骤会掩盖糟糕的选择。

该研究人员正在寻求关于潜在方法论漏洞的反馈，并寻找背书以将论文提交至 arXiv (cs.LG)。