한 사용자가 llama.cpp를 통해 RTX 4090 및 128 GB DDR5 RAM 환경에서 unsloth의 UD-Q2_K_XL 양자화된 DeepSeek V4 Flash 모델을 실행했습니다. 이 구성은 10.9 tok/s의 생성 속도를 달성했으며, Qwen 3.6-27B보다 느리지만 에이전트 작업에는 합리적인 수준으로 평가됩니다.

  • Intel Core Ultra 7 270k CPU에서 물리적 코어를 고정함으로써 추론 속도가 6.8 tok/s에서 11 tok/s로 두 배 증가했습니다.
  • CUDA 버퍼 오버플로우를 방지하기 위해 flash attention 비활성화(`-fa off`)와 컨텍스트 양자화 조정이 필요했습니다.
  • IQ4_NL 양자화 변형은 너무 느렸으며(8.1 t/s), 10k 컨텍스트 윈도우로 제한되었습니다.

저자는 추가 최적화를 통해 이 구성이 24GB GPU를 가진 사용자에게 Qwen 3.6-27B를 대체할 가능성이 있다고 제안합니다.