github llama.cpp · 2日前 · inference

llama.cpp b11017 が mul_mm coopmat1 パスで不要な MoE 作業をスキップ

翻訳元 English → 日本語

llama.cpp プロジェクトはビルド b11017 をリリースしました。これには、mul_mm coopmat1 パスで不要な Mixture of Experts (MoE) の作業をスキップするための Vulkan 最適化が含まれています。

このアップデートでは、macOS (Apple Silicon および Intel)、Linux (CPU、Vulkan、CUDA 12/13、ROCm、OpenVINO、SYCL)、Windows (CPU、OpenCL Adreno、CUDA 12/13、Vulkan、OpenVINO、SYCL、ROCm)、Android、および openEuler 用のプリビルドバイナリが提供されます。

リリースには llama.cpp UI も含まれています。

重要度 1/3 信頼度 1/3 llama.cpp Inference efficiency

原文を読む

関連記事

github llama.cpp · たった今 · 1 回表示ライブ

llama.cpp b11046 が flash_attn_f32_f16_bin カーネルの OpenCL サポートを追加

llama.cpp プロジェクトはバージョン b11046 をリリースし、`flash_attn_f32_f16_bin` カーネルの OpenCL サポートを導入しました。このアップデートには、OpenCL デバイス上の Flash Attention 用のガード付きプリフィル機能も含まれています。

github llama.cpp · 1時間前 · 1 回表示ライブ

llama.cpp b11044 が hexagon im2col を更新し、バイナリをリリース

llama.cpp プロジェクトはバージョン b11044 をリリースしました。これには、image-to-column (im2col) 操作の改善のための hexagon バックエンドの更新が含まれています。このリリースでは、macOS、Linux、Windows、Android、openEuler 向けに CPU、GPU、その他のハードウェアアクセラレータ用のプリビルドバイナリが提供されています。

github llama.cpp · 2時間前 · 1 回表示

llama.cpp b11045 が Hexagon バックエンドに ROLL 演算のサポートを追加

llama.cpp プロジェクトはバージョン b11045 をリリースし、Hexagon バックエンド内で ROLL 演算のサポートを導入しました。

github llama.cpp · 3時間前 · 1 回表示

llama.cpp b11043 で head_dim=72 の HMX flash-attention が可能に

llama.cpp プロジェクトはビルド b11043 をリリースし、HMX flash-attention 実装への変更を含んでいます。このアップデートは 64 の倍数ではないヘッド次元のサポートを有効にし、特に SigLIP の head_dim=72 などの構成を許可します。

github llama.cpp · 5時間前 · 1 回表示

llama.cpp b11042 が OpenCL A8 Q6_K バイナリカーネルを追加

llama.cpp プロジェクトはバージョン b11042 をリリースし、A8 Q6_K 非 MoE モデル用の新しい OpenCL バイナリカーネルを導入しました。このアップデートには、OpenCL バックエンド内のレイアウト互換性の修正も含まれています。