llama.cpp プロジェクトは、Qualcomm Adreno GPU 用の特定の OpenCL アップデートを含むビルド b10069 をリリースしました。主な変更点は、Adreno MUL_MAT カーネルのブロードキャスト操作のサポートと、llama-server でマルチストリーム機能を有効にするために Q8_0 MUL_MAT バリアントのビューオフセットを尊重することです。
- Adreno GEMM/GEMV noshuffle カーネル用のブロードキャストサポートを追加しました。
- Adreno noshuffle GEMM/GEMV 操作のビューオフセットが正しく処理されるようにしました。
- OpenCL バックエンド内で一般的な GEMM/GEMV ブロードキャストサポートを実装しました。
- コードベースから不要なテストとコメントを削除しました。
このアップデートは、Adreno ハードウェア上のマルチストリームワークロードとの互換性を、重要なカーネル処理の問題を修正することで向上させます。