github llama.cpp · 2時間前 · inference

llama.cpp b11045 が Hexagon バックエンドに ROLL 演算のサポートを追加

翻訳元 English → 日本語

llama.cpp プロジェクトはバージョン b11045 をリリースし、Hexagon バックエンド内で ROLL 演算のサポートを導入しました。

リリースには、macOS (Apple Silicon および Intel)、Linux (Ubuntu with CPU, Vulkan, CUDA 12/13, ROCm 10.0, OpenVINO, and SYCL)、Windows (CPU, OpenCL Adreno, CUDA 12/13, Vulkan, OpenVINO, SYCL, and ROCm 10.0)、Android arm64、および openEuler 用のバイナリが含まれています。
iOS 用 XCFramework とスタンドアロン UI ビルドも提供されています。
このリリースでは、macOS Apple Silicon 用の KleidiAI サポートは無効になっています。

重要度 1/3 信頼度 1/3 llama.cpp Hugging Face Inference efficiency

llama.cpp b11046 が flash_attn_f32_f16_bin カーネルの OpenCL サポートを追加

llama.cpp プロジェクトはバージョン b11046 をリリースし、`flash_attn_f32_f16_bin` カーネルの OpenCL サポートを導入しました。このアップデートには、OpenCL デバイス上の Flash Attention 用のガード付きプリフィル機能も含まれています。

github llama.cpp · 1時間前 · 1 回表示ライブ

llama.cpp b11044 が hexagon im2col を更新し、バイナリをリリース

llama.cpp プロジェクトはバージョン b11044 をリリースしました。これには、image-to-column (im2col) 操作の改善のための hexagon バックエンドの更新が含まれています。このリリースでは、macOS、Linux、Windows、Android、openEuler 向けに CPU、GPU、その他のハードウェアアクセラレータ用のプリビルドバイナリが提供されています。

github llama.cpp · 12時間前 · 1 回表示

llama.cpp b11035がVulkan用のIQ3_S MMQ行列乗算カーネルを追加

llama.cppプロジェクトはバージョンb11035をリリースし、VulkanバックエンドでIQ3_S MMQ行列乗算カーネルのサポートを導入しました。

github llama.cpp · 1日前 · 5 回表示

llama.cpp b11026 が Qwen35MoE の gate_up_exps をスキップ

llama.cpp プロジェクトはビルド b11026 をリリースし、TENSOR_SKIP フラグが設定されている場合に gate_up_exps をスキップする変更を導入しました。この修正は、MTP テンソルが融合されているが読み込まれていない Qwen35MoE モデルに特に必要です。

github llama.cpp · 2日前 · 4 回表示

llama.cpp b11019が埋め込みファイルのGGUFデータアラインメントを修正し、LoRA読み込みを追加

llama.cppプロジェクトはバージョンb11019をリリースし、非アラインメントオフセットに埋め込まれたGGUFファイルが誤ったテンソルデータを返す重大なバグを修正しました。この更新では、ファイルの先頭ではなくオフセット0相対でGGUFデータセクションをアラインメントし、埋め込みモデルの正しい読み込みを保証します。