llama.cpp プロジェクトはバージョン b10704 をリリースし、CUDA バックエンドを更新して、使用される専門家の数（n_expert_used）に関係なく最適化された mm_ids_helper パスを使用するようにしました。以前はこの高速パスはワープサイズの整除性規則によって制限されており、ほとんどのカウントがより遅い汎用実装にフォールバックしていました。

  • この最適化は次の2のべき乗へのパディングを一般化し、n_expert_used = 10 のようなケースでも高速パスを利用できるようにします。
  • RTX PRO 6000 上で Qwen3.8-Flash-Next（512専門家、10使用、コンテキスト55k）で測定した結果、プロンプト処理速度は秒あたり2334トークンから2600トークンに向上しました。
  • トークン生成のパフォーマンスは影響を受けません。この最適化はバッチトークン処理を対象としているためです。

この変更により、Mixture of Experts アーキテクチャを使用するモデルの推論レイテンシーが、プロンプト処理時のオーバーヘッドを削減することで改善されました。