ntrillard демонстрирует, что квантование спектра магнитуды значений K и V кэша до 4 бит с сохранением фазы в полной точности обеспечивает совпадение токенов на уровне 96.9% по сравнению с эталоном fp16 для Gemma-3-1B, что представляет собой улучшение в 5–10 раз по сравнению со стандартным квантованием min-max.

  • Fmag4 (магнитуда 4 бит + фаза полной точности) обеспечивает совпадение токенов на уровне 96.9% и экономию памяти на 62% по сравнению с bf16.
  • Стандартное 4-битное квантование даёт лишь 54.9% совпадения токенов на тех же запросах.
  • Метод удваивает максимальную длину контекста с 68K до 137K для Qwen2.5-7B на GPU с 10 ГБ памяти без увеличения общего бюджета памяти.
  • Фаза определена как основной носитель структурной информации, тогда как спектр магнитуды гладкий и хорошо сжимается.

Этот подход позволяет пользователям значительно расширять окна контекста в рамках фиксированных аппаратных ограничений за счёт использования преобразования Фурье для более эффективного хранения КВ-кэша.