llama.cpp b9933リリースは、ne01次元が128の倍数でない場合にQ6_K量子化重みで出力が乱れる重大なOpenCLの問題に対処します。このバグはgranite-3.1-3b-a800m-instructなどのモデルに影響し、奇数の語彙サイズがAdreno GPU上で誤ったメモリ処理を引き起こしました。

修正により、ne01 % 128 != 0の場合、noshuffleパスからの密行列乗算を回避し、デコーディングに平坦なGEMVを使用し、他の形状にはCPUにフォールバックします。さらに、リリースはOpenCLバッファのget_alloc_sizeを実装し、アラインメントのスラックを確保することで、隣接するテンソルを静かに壊すサブバッファのオーバーラップを防ぎます。

このアップデートは、特定のアラインメント制約を持つデバイスで正しい推論結果を保証し、量子化された重み処理におけるメモリ破損を防ぎます。