llama.cppプロジェクトは、Vulkanのmul_mat_id操作におけるホストされたrow-idの制限を256から1024のエキスパート数へ引き上げました。この変更は、Qwen3.8-Flash-Nextのように多数のエキスパートを持つモデルでのパフォーマンスボトルネックに対処するもので、以前は共有配列サイズの制約により低速なコードパスで実行されていました。

今回のアップデートでは、count_experts.compシェーダーが1024のMAX_EXPERT定数を使用し、共有配列を12 KiBに拡張しつつ、Vulkanの16 KiBの保証内に収まっています。Strix Haloハードウェア上でバッチサイズ2048の場合、iq3_sではエキスパート行列乗算が12.5 msから9.5 msへ、iq4_nlでは14.0 msから7.5 msへそれぞれ短縮されました。プロンプト処理速度は8kトークンで約19%向上し、MUL_MAT_IDバックエンドのテストも新しい1024エキスパートケースでパスしています。

この最適化により、llama.cppはVulkan対応ハードウェア上でパフォーマンス劣化なしに、以前の512エキスパート閾値を超えるモデルを効率的に処理できるようになります。