llama.cpp b10171リリースは、マルチシーケンスバッチ処理中にゴミ出力を引き起こしていたAdreno KQ/KQVイメージカーネルの重大なバグに対処します。この問題は、これらのカーネルが次元3を無視し、複数のストリームで統一KVキャッシュを使用する際に誤った読み取りが行われたために発生しました。
- ne03/ne13 > 1のテンソルを、dim 3を正しく処理する汎用パスにルーティングします。
- サイレントな誤読を防ぐため、サブバッファ作成時にview_offsを尊重します。
- Adreno 740および840デバイスでのパープレキシティスコアを修正し、Llama-3.2-1B-Instruct Q4_0のPPLを約1940から約15.6に低下させます。
- CPU、GPU、専用バックエンドに対応したmacOS、iOS、Linux、Android、Windows、openEuler用のバイナリを含みます。
この修正により、Flash Attentionが無効化されているか利用できないAdrenoデバイスで正しい推論結果が保証され、マルチスロットサーバー構成におけるパフォーマンスの低下を防ぎます。