한 사용자가 float8 정밀도를 사용하여 VRAM 16GB가 탑재된 RTX 5060 Ti에서 Qwen3-30B-A3B 모델을 초당 50~54 토큰으로 실행할 수 있는 맞춤형 CUDA 및 C++ 코드를 개발했습니다.

  • 이 구현은 n-cpu-moe로 초당 약 33~34 토큰으로 실행되는 llama.cpp보다 약 50%의 속도 개선을 달성했습니다.
  • 성능 향상은 NeurIPS, ICML, EuroSys 논문에서 발견된 최첨단 솔루션을 결합하여 얻어졌습니다.
  • 소스 코드는 저장소를 통해 제공됩니다.

저자는 이러한 엔진이 소비자용 하드웨어에서 로컬 추론의 새로운 기회를 제공하며, 중앙 집중식 데이터센터에 비해 더 프라이빗하고 저렴하며 친환경적인 대안을 제시한다고 제안합니다.