Новое исследование ставит под сомнение опору на точность и перплексивность для оценки постобучающей квантизации в больших языковых моделях, демонстрируя, что эти метрики не способны уловить значительные поведенческие изменения. Авторы вводят «согласие по корректности», метрику на уровне решений, измеряющую перекрытие предсказаний между базовой и квантованной моделями, которая выявляет, что расхождение поведения возникает при умеренной квантизации, даже когда производительность задачи кажется сохранённой.

  • Анализ квантизации как структурного оператора над весами внимания выявляет нелинейные точки перелома при низкой разрядности.
  • Выяснено, что проекции запросов и ключей последовательно более чувствительны к искажениям, чем проекции значений и выходов.
  • Исследование охватывает множество моделей и схем квантизации от 8-битных до 2-битных.

Эти результаты обнажают иллюзию эквивалентности между базовой и квантованной моделями, стимулируя внедрение метрик оценки поведения за пределами обычных мер производительности.