新しい研究は、大規模言語モデルにおける後期学習量子化の評価に対する精度とパープレキシティへの依存に疑問を投げかけ、これらの指標が重要な行動変化を捉えられないことを実証しています。著者らは、「正答率合意」という判断レベルの指標を導入し、ベースモデルと量子化モデル間の予測の重なりを測定します。その結果、タスクのパフォーマンスが維持されているように見えても、中程度の量子化の下で行動の分岐が生じることが明らかになりました。

  • 量子化を注意機構の重みに対する構造的演算子として分析することで、低ビット幅において非線形の分岐点が特定されました。
  • クエリとキーの射影は、値と出力の射影と比較して一貫して歪みに敏感であることが発見されました。
  • この研究では、8ビットから2ビットまで複数のモデルと量子化スキームがカバーされています。

これらの知見は、ベースモデルと量子化モデル間の同等性の幻想を暴き、従来のパフォーマンス測定を超えた行動評価指標の採用を促しています。