llama.cpp プロジェクトはビルド b11284 をリリースしました。これには、量子化された重みビューに対する GET_ROWS 操作を正しく処理するための OpenVINO バックエンドの修正が含まれています。
- この更新により、重み定数を収集する際に view_src が解決され、量子化された重み上のビューが動的な型のパラメータになるのを防ぎます。
- ビューの行オフセットは、脱量子化サブグラフをスライスするのではなく、集約インデックスに折り込まれるようになりました。
- この変更により、ゼロ以外のオフセットを持つ量子化された src0 ビューの拒否が解除され、OpenVINO で動作可能になります。
このリリースでは、CPU、GPU（CUDA、Vulkan、ROCm、SYCL）、NPU の各バックエンド向けに、macOS、Linux、Windows、Android、openEuler 用のバイナリが提供されています。