한 레딧 사용자는 FP16 모델과 다양한 GGUF 양자화 수준을 비교하는 체계적인 테스트를 수행했으며, 집계 점수가 아닌 기능별로 성능을 분석했습니다. 분석 대상은 수학(GSM8K), 코드(HumanEval), 추론(ARC-Challenge), 지식 회상(MMLU-Pro)이었습니다.

  • 27B 모델에서 Q4_K_M은 대화 작업에서 2% 미만의 성능 저하를 유발했지만, 다단계 수학 정확도를 거의 9% 떨어뜨렸습니다.
  • Q5_K_M은 FP16 대비 수학 성능 격차를 효과적으로 해소했습니다.
  • 작성자는 컨텍스트 감쇠에 대한 엄격한 데이터 부족을 지적하며, 컨텍스트 창이 채워짐에 따라 양자화된 모델이 FP16보다 검색 정확도를 더 빠르게 잃는지 의문을 제기했습니다.

게시물은 커뮤니티에 모델 선택에 대한 데이터가 존재하는 반면, 특정 사용 사례와 하드웨어 제약에 맞는 적절한 양자화 수준을 선택하기 위한 지침에는 상당한 격차가 있다고 주장합니다.