github llama.cpp · 1時間前 · inference

llama.cpp b10085 が位置埋め込み補間の整合により Qwen3-VL のグラウンディングを修正

翻訳元 English → 日本語

llama.cpp プロジェクトはビルド b10085 をリリースし、Qwen3-VL ビジョンモデルの位置埋め込み補正の修正を含み、グラウンディング座標の不整合を解消しました。

この変更により、デフォルトの双線形+アンチエイリアシング（align_corners=False）から align_corners=True に補間方法が切り替わり、transformers のリファレンス実装と一致します。
これにより、以前は画像サイズとともに大きくなり、非正方形画像では軸ごとに異なっていたグラウンディング座標のスケーリングの問題が修正されました。
macOS（Apple Silicon および Intel）、iOS、Linux（CPU、Vulkan、ROCm、OpenVINO、SYCL）、Android、Windows（CPU、CUDA 12/13、Vulkan、OpenCL、OpenVINO、SYCL、HIP）、openEuler でバイナリが利用可能です。

重要度 1/3 信頼度 1/3 llama.cpp Hugging Face Inference efficiency

llama.cpp b10069 が Adreno MUL_MAT 用の OpenCL ブロードキャストサポートを追加

llama.cpp プロジェクトは、Qualcomm Adreno GPU 用の特定の OpenCL アップデートを含むビルド b10069 をリリースしました。主な変更点は、Adreno MUL_MAT カーネルのブロードキャスト操作のサポートと、llama-server でマルチストリーム機能を有効にするために Q8_0 MUL_MAT バリアントのビューオフセットを尊重することです。

github llama.cpp · 4日前 · 1 回表示

llama.cpp b10068 が DFlash の注入された K/V キャッシュを回転

llama.cpp プロジェクトはバージョン b10068 をリリースし、DFlash モデルの実装に変更を加えました。この更新では、K/V 量子化が使用される場合に注入されたキー/バリュー (K/V) キャッシュを回転させるために src/models/dflash.cpp が変更されました。

github llama.cpp · 4日前 · 1 回表示

llama.cpp b10067 は DeepSeek-V4 のルーティングテーブルを量子化から除外

llama.cpp プロジェクトはバージョン b10067 をリリースし、`llama-quantize` ツールが DeepSeek-V4 モデルを正しく処理するための修正を含んでいます。この更新により、量子化ツールが `ffn_gate_tid2eid` テンソル（i32 のトークンからエキスパートへのインデックステーブル）を float 型に変換しようとするのを防ぎます。

github llama.cpp · 5日前

llama.cpp b10066 が OpenCL を介して kernel_gemm_moe_q6_k_f32_ns カーネルのサポートを追加

llama.cpp プロジェクトはバージョン b10066 をリリースし、OpenCL を介して `kernel_gemm_moe_q6_k_f32_ns` カーネルのサポートを導入しました。このアップデートにより、フレームワーク内でこの特定のバイナリカーネルライブラリの読み込みと使用が可能になります。

github llama.cpp · 5日前 · 5 回表示

OpenCL 転置最適化を含む llama.cpp b10064 リリース

llama.cpp プロジェクトは、OpenCL バックエンドの変更を含むバージョン b10064 をリリースしました。このアップデートは、noshuffle scales を転置して結合読み込みを有効にすることで、q4_K 量子化フォーマットを変更します。