Независимый исследователь провел аудит четырех широко используемых методов постобучающего квантования — AWQ, GPTQ, OWQ и SpQR — чтобы определить, точно ли отражают их оценки важности каналов чувствительность весов. Возмущая отдельные каналы весов в моделях Qwen2.5-0.5B, Pythia-410M и SmolLM2-360M при настройках INT3 group-128, исследование измерило реальный ущерб через дивергенцию прямого распространения (forward-KL).

  • Четыре критерия показали высокую степень согласия, но это было во многом механическим из-за использования одной общей входной статистики, а не схождения к истине.
  • Когда эта общая статистика была удалена, три из четырех методов почти перестали отслеживать реальную чувствительность.
  • Оценка на основе градиентов осталась устойчивой и выдержала весь процесс тестирования.
  • Автор отмечает, что сквозная валидация часто маскирует плохой выбор важности, поскольку шаги компенсации ошибок покрывают плохие выборы.

Исследователь ищет отзывы о возможных методологических пробелах и надеется получить поддержку для подачи статьи на arXiv (cs.LG).