あるユーザーが、5090 GPU上で50kコンテキストを用いてllama-perplexityにより、bartowskiのQwen3.6-27Bモデルにおけるキーバリュー（KV）キャッシュ量子化がカルバック・ライブラー発散（KLD）に与える影響をテストした。

  • Q8モデルはQ6やQ5よりも性能が良く、Q6とQ5の間の性能差はQ8とQ6の間の性能差よりも大きい。
  • キー量子化に関わらず、値（v）がq4_0に量子化されると、Q8とQ6の両方でKLDが急激に低下する。
  • 値にq4_0を使用する場合、Q8とQ6は性能面で収束し、Q6における(q8_0, q8_0)が驚くほど効果的な妥協点となる。
  • Q5モデルは、より高精度なモデルと比較して値量子化に対して許容度が高い。

この分析により、VRAMの制約が重量子化を強いる場合、Q6でフル精度のKVを使用することはQ8とほぼ同等の有効性を持ち、リソースが許す限り最大限のコーディング精度にはQ8が優先されるべきであることが示唆されている。