一项新研究挑战了对大型语言模型中训练后量化的评估所依赖的准确性和困惑度指标，表明这些指标无法捕捉到显著的行为变化。作者引入了“正确性一致性”，这是一种决策级指标，用于衡量基础模型与量化模型之间预测的重叠情况，结果显示即使在任务表现看似保持不变的情况下，行为分歧也会在中等量化水平下出现。

  • 将量化分析为对注意力权重的结构算子，在低比特宽度下识别出非线性断点。
  • 发现查询和键投影始终比值投影和输出投影对失真更敏感。
  • 该研究涵盖了从8位到2位的多种模型和量化方案。

这些发现揭示了基础模型与量化模型之间等效性的错觉，促使人们采用超越传统性能指标的行为评估指标。