llama.cpp プロジェクトは、Qwen4exp モデルアーキテクチャの最適化を含むビルド b10730 をリリースしました。主な変更点は、転置と sum_rows 演算を使用する代わりに、スライスごとにインデクサーヘッドを合計することにより、メモリコピーのオーバーヘッドを削減することです。
- Qwen3.8-Flash-Next UD-Q4_K_XL を使用した RTX PRO 6000 上で、プロンプト処理速度が秒あたり 2170 トークンから 2366 トークンに向上しました。
- この最適化により、rope が新たに割り当てられた連続テンソルを返すため、インデクサークエリの冗長な連続テンソルの要件が削除されました。
- 生成速度には影響ありませんが、プロンプト処理の向上はコンテキスト長と ubatch サイズに比例して拡大します。
- グリーディ出力は、以前のバージョンと比較してトークン単位で変更されていません。
このアップデートは、プロンプト処理フェーズ中の計算上の無駄を減らすことで、Qwen4exp モデルを含むロングコンテキスト推論タスクの効率を向上させます。