llama.cppプロジェクトは、OpenVINOバックエンドへの重要な更新をマージしました。主な変更点として、Qwen3.5モデルファミリーのサポート有効化と、いくつかのメモリ最適化技術の導入が含まれます。
- GPT-OSS MoE、MXFP4、FILL、SIGMOID、SQR、SQRT、および多次元セット行演算を有効化しました。
- Gemma3n、Phi-3-mini (NEOX RoPE)、MPT、Kimi-linear、Minimax-m3アーキテクチャの精度問題を修正しました。
- GGML_OPENVINO_RELEASE_WEIGHTSを実装し、コンパイル後にホスト重量のRSSを解放することで、Arc iGPU上のLlama-3.2-1B-Q4_K_Mにおいて定常状態のメモリ使用量を約1555 MBから約710 MBに削減しました。
- ストリーミング重量再量子化を追加し、1Bモデルでコンパイル時のピークRSSを1.06 GB、8Bモデルで2.0 GB削減しました。
- 繰り返しロード時にグラフ変換とコンパイルをスキップするためのフロントエンドモデルキャッシュ(GGML_OPENVINO_MODEL_CACHE_DIR)を導入しました。
これらの変更により、Qwen3.5などの新しいアーキテクチャとの互換性が向上し、GPU推論における一時的なコンパイル時および定常状態のメモリフットプリントが大幅に削減されました。