一名用户在使用llama-perplexity于配备50k上下文的5090 GPU上测试了bartowski的Qwen3.6-27B模型的键值（KV）缓存量化对Kullback-Leibler散度（KLD）的影响。

  • Q8模型的表现优于Q6和Q5，且Q6与Q5之间的性能差距大于Q8与Q6之间的差距。
  • 无论键如何量化，当值（v）量化为q4_0时，Q8和Q6的KLD都会出现急剧下降。
  • 当对值使用q4_0时，Q8和Q6的性能趋于收敛，使得在Q6上使用(q8_0, q8_0)成为一个令人惊讶的有效折衷方案。
  • 与更高精度的模型相比，Q5模型对值量化更具容忍度。

分析表明，如果显存（VRAM）限制迫使进行重度量化，在Q6上使用全精度KV的效果几乎与Q8相当，而在资源允许的情况下，Q8仍然是实现最大编码精度的首选。