한 사용자가 전용 GPU가 없는 Intel Core Ultra 285HX 프로세서와 64GB RAM을 탑재한 MS-02 미니 PC에서 Llama.cpp를 사용하여 Qwen3, Qwen3.6, Gemma4 모델의 성능 벤치마킹을 수행했습니다.
- CPU 전용 추론이 가장 빠른 속도를 보였으며, Qwen3-30B-A3B-Instruct의 경우 최대 16.5 토큰/초에 도달했습니다.
- SYCL 백엔드 성능은 테스트된 모델 간에 8~12 토큰/초 범위를 보였습니다.
- 통합 GPU를 사용한 Vulkan 백엔드는 훨씬 느려 0.5~4 토큰/초만 생성했습니다.
사용자는 CPU 전용 실행이 현재 이 특정 하드웨어 구성에서 가장 빠른 옵션이라고 결론지으며, Vulkan이 SYCL보다 왜 성능이 낮았는지 의문을 제기합니다.