Пользователь протестировал влияние квантования ключ-значения (KV) кэша на расхождение Кульбака-Лейблера (KLD) модели bartowski's Qwen3.6-27B с помощью llama-perplexity на GPU 5090 с контекстом в 50k.

  • Модели Q8 работают лучше, чем Q6 и Q5, при этом разрыв в производительности между Q6 и Q5 шире, чем между Q8 и Q6.
  • И Q8, и Q6 испытывают резкое падение KLD, когда значение (v) квантуется до q4_0, независимо от квантования ключа.
  • При использовании q4_0 для значений производительность Q8 и Q6 сходится, что делает (q8_0, q8_0) на Q6 удивительно эффективным компромиссом.
  • Модели Q5 более толерантны к квантованию значений по сравнению с моделями более высокой точности.

Анализ показывает, что если ограничения VRAM вынуждают к сильному квантованию, использование KV полной точности на Q6 почти так же эффективно, как и Q8, в то время как Q8 остается предпочтительным выбором для максимальной точности кода при наличии ресурсов.