あるユーザーが、専用GPUを搭載していないIntel Core Ultra 285HXプロセッサと64GBのRAMを備えたMS-02ミニPC上で、Llama.cppを使用してQwen3、Qwen3.6、Gemma4モデルのパフォーマンスベンチマークを行いました。

  • CPUのみでの推論が最も高速で、Qwen3-30B-A3B-Instructでは最大16.5トークン/秒に達しました。
  • SYCLバックエンドのパフォーマンスは、テストされたモデル間で8〜12トークン/秒の範囲でした。
  • 統合GPUを使用したVulkanバックエンドは大幅に遅く、0.5〜4トークン/秒しか生成できませんでした。

ユーザーは、CPUのみでの実行が現在この特定のハードウェア構成において最速のオプションであると結論付け、VulkanがSYCLと比較してなぜパフォーマンスが劣ったのかを疑問視しています。