한 사용자가 두 대의 NVIDIA RTX 3090 GPU에서 ternary-quantized Qwen3.6 27B 모델을 성공적으로 실행했다고 보고했습니다. 이 설정은 안정적인 도구 호출 기능과 함께 초당 60개의 토큰 처리량을 달성합니다.

  • 각 GPU에는 100k KV 캐시 슬롯이 할당됩니다.
  • 두 카드의 총 VRAM 소비량은 약 21GB입니다.
  • 사용자는 출력 품질이 양호해 보인다고 언급했지만, 코딩 테스트는 수행되지 않았습니다.