github llama.cpp · 2日前 · inference

llama.cpp b11020 が DeepSeek V3.2/V4 パーサーにメッセージ区切り文字を追加

翻訳元 English → 日本語

llama.cpp プロジェクトはバージョン b11020 をリリースし、チャット解析ロジックの機能的な更新を含んでいます。主な変更点は、DeepSeek V3.2 および V4 モデルパーサー用にメッセージ区切り文字を特別に追加することです。

プル #29008 で DeepSeek V3.2/V4 パーサーにメッセージ区切り文字を追加。
macOS (Apple Silicon および Intel)、iOS、Linux (CPU、Vulkan、CUDA、ROCm、OpenVINO、SYCL)、Windows (CPU、OpenCL、CUDA、Vulkan、OpenVINO、SYCL、ROCm)、Android、および openEuler 用のバイナリをリリース。

この更新により、llama.cpp フレームワーク内で DeepSeek モデルの会話構造が正しく解析されるようになります。

重要度 1/3 信頼度 1/3 llama.cpp Hugging Face Inference efficiency

原文を読む

github llama.cpp · たった今 · 1 回表示ライブ

llama.cpp b11046 が flash_attn_f32_f16_bin カーネルの OpenCL サポートを追加

llama.cpp プロジェクトはバージョン b11046 をリリースし、`flash_attn_f32_f16_bin` カーネルの OpenCL サポートを導入しました。このアップデートには、OpenCL デバイス上の Flash Attention 用のガード付きプリフィル機能も含まれています。

github llama.cpp · 1時間前 · 1 回表示ライブ

llama.cpp b11044 が hexagon im2col を更新し、バイナリをリリース

llama.cpp プロジェクトはバージョン b11044 をリリースしました。これには、image-to-column (im2col) 操作の改善のための hexagon バックエンドの更新が含まれています。このリリースでは、macOS、Linux、Windows、Android、openEuler 向けに CPU、GPU、その他のハードウェアアクセラレータ用のプリビルドバイナリが提供されています。

github llama.cpp · 2時間前 · 1 回表示

llama.cpp b11045 が Hexagon バックエンドに ROLL 演算のサポートを追加

llama.cpp プロジェクトはバージョン b11045 をリリースし、Hexagon バックエンド内で ROLL 演算のサポートを導入しました。

github llama.cpp · 12時間前 · 1 回表示

llama.cpp b11035がVulkan用のIQ3_S MMQ行列乗算カーネルを追加

llama.cppプロジェクトはバージョンb11035をリリースし、VulkanバックエンドでIQ3_S MMQ行列乗算カーネルのサポートを導入しました。

github llama.cpp · 1日前 · 5 回表示

llama.cpp b11026 が Qwen35MoE の gate_up_exps をスキップ

llama.cpp プロジェクトはビルド b11026 をリリースし、TENSOR_SKIP フラグが設定されている場合に gate_up_exps をスキップする変更を導入しました。この修正は、MTP テンソルが融合されているが読み込まれていない Qwen35MoE モデルに特に必要です。