L'analyse de la quantification KV de Qwen3.6-27B montre que Q8 et Q6 convergent avec une quantification lourde des valeurs

Un utilisateur a testé l'effet de la quantification du cache clé-valeur (KV) sur la divergence Kullback-Leibler (KLD) du modèle Qwen3.6-27B de bartowski en utilisant llama-perplexity sur un GPU 5090 avec un contexte de 50k.

• Les modèles Q8 performent mieux que les modèles Q6 et Q5, avec un écart de performance plus large entre Q6 et Q5 qu'entre Q8 et Q6.
• Q8 et Q6 subissent tous deux des chutes abruptes de KLD lorsque la valeur (v) est quantifiée en q4_0, indépendamment de la quantification de la clé.
• Lors de l'utilisation de q4_0 pour les valeurs, Q8 et Q6 convergent en performance, faisant de (q8_0, q8_0) sur Q6 un compromis étonnamment efficace.
• Les modèles Q5 sont plus tolérants à la quantification des valeurs par rapport aux modèles de précision supérieure.

L'analyse suggère que si les contraintes de VRAM imposent une quantification lourde, l'utilisation d'une KV pleine précision sur Q6 est presque aussi efficace que sur Q8, tandis que Q8 reste le choix privilégié pour une précision maximale en codage lorsque les ressources le permettent.