一位用户在配备 Intel Core Ultra 285HX 处理器和 64GB RAM 的 MS-02 迷你电脑上，使用 Llama.cpp 对 Qwen3、Qwen3.6 和 Gemma4 模型进行了基准测试，并指出没有专用 GPU。

  • 仅 CPU 推理产生了最高速度，Qwen3-30B-A3B-Instruct 高达每秒 16.5 个 token。
  • SYCL 后端的性能在测试的模型中范围为每秒 8 到 12 个 token。
  • 使用集成 GPU 的 Vulkan 后端要慢得多，仅产生每秒 0.5 到 4 个 token。

用户得出结论，对于此特定硬件配置，仅 CPU 执行目前是最快的选项，并质疑为什么 Vulkan 的表现不如 SYCL。