레딧 사용자가 Qwen3.6-27b 양자화 변형 테스트에 대한 지침을 요청

한 레딧 사용자는 Qwen3.6-27b 모델의 서로 다른 양자화 형식, 특히 Q4_K_M, UD-Q4_K_XL, UD-Q5_K_XL, UD-Q6_K_XL 및 UD-Q8_K_XL을 효과적으로 비교하는 방법에 대한 조언을 구하고 있습니다.

게시자는 VRAM이 총 32GB인 두 개의 GPU를 갖춘 소비자용 데스크톱 환경에서 정확도와 컨텍스트 창 크기 간의 성능 트레이드오프를 결정하는 것을 목표로 합니다. 그들은 llama.cpp를 사용한 코딩 및 복잡한 처리 작업과 같은 실제 인간 추론과 상관관계가 있는 의미 있는 테스트를 식별하는 데 관심이 있습니다.

사용자는 기존 벤치마크를 사용할 수 있는지, 아니면 신뢰할 수 있는 비교 프레임워크를 확립하기 위해 KV 캐시 크기나 사고 모드(일반 작업 vs 정밀 코딩)와 같은 매개변수를 변경해야 하는지도 묻습니다.