대학 HPC 클러스터가 Qwen3.6 양자화를 벤치마킹한 결과, 지식 점수는 안정적으로 유지되는 반면 저정밀 포맷은 에이전트 능력을 현저히 저하시키는 것으로 나타났습니다.

  • GPQA Diamond 결과는 다양한 양자화 수준 전반에 걸쳐 최소한의 변동만 보였습니다.
  • Terminal-Bench 2 점수는 저정밀 양자화에서 현저한 후퇴를 보였습니다.
  • 결과는 Qwen의 공식 FP8 벤치마크보다 낮았는데, 이는 타임아웃 설정이 더 짧기 때문입니다(10분~1시간 vs. 3시간).
  • 여러 실행 결과 상당한 점수 변동이 드러났으며, 저정밀 양자화에서 좋은 실행 결과가 고정밀 양자화에서 나쁜 실행 결과보다 더 낮은 점수를 받을 수 있습니다.

이러한 발견은 에이전트 작업과 지식 보존 간 양자화의 트레이드오프를 이해하는 데 도움이 됩니다.