llama.cppプロジェクトは、PowerVR GPUにおける重大な安定性問題を解決するバージョンb10891をリリースしました。このアップデートでは、Vulkanバックエンドが量子化解除された行列-ベクトル乗算（dmmv）演算に対して共有メモリへのリダクションにフォールバックするように変更されました。
- この変更により、サブグループのみによるリダクションを持つ計算パイプラインの構築時にVK_ERROR_UNKNOWNを返すImaginationの专有Vulkanコンパイラによって引き起こされていたクラッシュが解消されました。
- この修正は、Pixel 11 Proなどのデバイスで以前失敗していたk-quants、i-quants、TQ2_0、MXFP4、およびNVFP4の量子化フォーマットに適用されます。
- 共有メモリリダクション版は正常にコンパイルされ、q2_Kからq6_Kまでの量子化においてCPU参照結果と一致します。
- ハイブリッド版も利用可能ですが、著しいパフォーマンスペナルティを伴い、トークンスループットが標準速度の27%に低下します。
このアップデートにより、これらの特定の量子化フォーマットを使用するモデルが、初期トークン生成フェーズ中にクラッシュすることなくPowerVRハードウェアで実行できるようになります。