한 사용자가 5090 GPU에서 50k 컨텍스트를 사용하여 llama-perplexity로 bartowski의 Qwen3.6-27B 모델에 대한 키-값(KV) 캐시 양자화가 Kullback-Leibler 발산(KLD)에 미치는 영향을 테스트했습니다.

  • Q8 모델은 Q6 및 Q5보다 성능이 우수하며, Q6와 Q5 간의 성능 격차는 Q8과 Q6 간의 성능 격차보다 큽니다.
  • 키 양자화와 관계없이 값(v)이 q4_0으로 양자화되면 Q8과 Q6 모두에서 KLD가 급격히 감소합니다.
  • 값을 q4_0으로 사용할 때 Q8과 Q6는 성능이 수렴하며, 이는 Q6에서 (q8_0, q8_0)이 놀라울 정도로 효과적인 타협점이 됨을 의미합니다.
  • Q5 모델은 더 높은 정밀도의 모델에 비해 값 양자화에 대해 더 관용적입니다.

이 분석은 VRAM 제약으로 인해 무거운 양자화가 필요할 경우 Q6에서 풀 정밀도 KV를 사용하는 것이 Q8과 거의 동등하게 효과적일 수 있음을 시사하며, 자원이 허용하는 한 최대 코딩 정확도를 위해 Q8이 선호되어야 함을 보여줍니다.