独立した研究者が、4つの広く使われているポストトレーニング量子化手法—AWQ、GPTQ、OWQ、およびSpQR—を監査し、チャネル重要度スコアが重み感度を正確に反映しているかどうかを決定しました。INT3 group-128設定でQwen2.5-0.5B、Pythia-410M、SmolLM2-360Mモデルの個々の重みチャネルを摂動させることで、前方KL発散を通じて実際のダメージを測定しました。

  • 4つの基準は高い一致を示しましたが、これは真実への収束ではなく、1つの共有入力統計を共有しているため、主に機械的なものでした。
  • その共有統計が除去されると、4つの手法のうち3つはもはや実際の感度をほとんど追跡しなくなります。
  • グラデーションに基づくスコアは堅牢であり、テストプロセス全体で維持されました。
  • 著者は、エンドツーエンドの検証が誤り補正ステップが悪く選択されたものをカバーするため、重要な選択の悪さを隠蔽することが多いと指摘しています。

研究者は潜在的な方法論的な穴に関するフィードバックを求めており、arXiv (cs.LG)への論文提出のための承認を探しています。