Un usuario probó el efecto de la cuantización de la caché clave-valor (KV) en la divergencia de Kullback-Leibler (KLD) del modelo bartowski's Qwen3.6-27B utilizando llama-perplexity en una GPU 5090 con un contexto de 50k.

  • Los modelos Q8 funcionan mejor que Q6 y Q5, con una brecha de rendimiento más amplia entre Q6 y Q5 que entre Q8 y Q6.
  • Tanto Q8 como Q6 sufren caídas pronunciadas en KLD cuando el valor (v) se cuantiza a q4_0, independientemente de la cuantización de la clave.
  • Al usar q4_0 para los valores, Q8 y Q6 convergen en rendimiento, haciendo que (q8_0, q8_0) en Q6 sea un compromiso sorprendentemente efectivo.
  • Los modelos Q5 son más tolerantes a la cuantización del valor en comparación con los modelos de mayor precisión.

El análisis sugiere que si las limitaciones de VRAM obligan a una cuantización pesada, usar KV de precisión completa en Q6 es casi tan efectivo como Q8, mientras que Q8 sigue siendo la opción preferida para la máxima precisión de codificación cuando los recursos lo permiten.