한 레딧 사용자는 "Döner Bench"의 두 번째 라운드를 진행하여 다양한 양자화 수준이 Qwen 3.6 및 Gemma 4 모델의 코드 생성 능력에 미치는 영향을 비교했습니다.

  • 테스트는 각 모델 변형체에 대해 동일한 프롬프트를 사용하여 회전하는 케밥 꼬 skewer의 캔버스 애니메이션이 포함된 HTML 파일을 생성하는 것으로 구성되었습니다.
  • 결과는 각 모델과 양자화 조합을 9회 실행하고, 루프 또는 시간 초과를 버리며 주관적으로 가장 우수한 결과를 선택하여 수집되었습니다.
  • Qwen 3.6 27B IQ2 M은 낮은 충실도에도 불구하고 몇 가지 최상의 결과를 생성한 반면, Gemma 4 31B는 낮은 IQ2 양자화에서도 안정성을 보였습니다.
  • Q8 K XL과 같은 높은 비트레이트는 애니메이션의 "정교함"을 더 잘 보존하는 반면, IQ2와 같은 낮은 비트는 시각적 아티팩트 또는 불안정성을 초래했습니다.

이 비교는 양자화가 로컬 LLM의 생성된 코드 및 렌더링 품질에 미치는 영향을 강조합니다.