Análise de quantização KV do Qwen3.6-27B mostra que Q8 e Q6 convergem com quantização pesada de valor

Um usuário testou o efeito da quantização do cache chave-valor (KV) na divergência de Kullback-Leibler (KLD) do modelo bartowski's Qwen3.6-27B usando llama-perplexity em uma GPU 5090 com contexto de 50k.

• Modelos Q8 performam melhor que Q6 e Q5, com uma lacuna de desempenho mais ampla entre Q6 e Q5 do que entre Q8 e Q6.
• Tanto Q8 quanto Q6 sofrem quedas acentuadas na KLD quando o valor (v) é quantizado para q4_0, independentemente da quantização da chave.
• Ao usar q4_0 para valores, Q8 e Q6 convergem em desempenho, tornando (q8_0, q8_0) no Q6 um compromisso surpreendentemente eficaz.
• Modelos Q5 são mais tolerantes à quantização de valor em comparação com modelos de maior precisão.

A análise sugere que se as restrições de VRAM forçarem uma quantização pesada, usar KV de precisão completa no Q6 é quase tão eficaz quanto Q8, enquanto Q8 permanece a escolha preferida para máxima precisão de codificação quando os recursos permitem.