github llama.cpp · 3日前 · inference

llama.cpp b11073 が SYCL で MKL-FA softmax のロードを結合

翻訳元 English → 日本語

llama.cpp プロジェクトは、SYCL バックエンドへの変更を含むバージョン b11073 をリリースしました。このアップデートは、行ごとに 1 つの work-item を割り当てる代わりに、MKL-FA softmax のロードを結合します。

リリースでは、macOS (Apple Silicon および Intel)、Linux (CPU、Vulkan、CUDA 12/13、ROCm 10.0、OpenVINO、SYCL FP32/FP16 付き Ubuntu)、Windows (CPU、OpenCL Adreno、CUDA 12/13、Vulkan、OpenVINO、SYCL、ROCm 10.0)、Android、openEuler 用のバイナリが提供されます。
ディストリビューションには iOS XCFramework も含まれています。

リリースノートでは、この変更によるパフォーマンスの向上やユーザーへの利点は指定されていません。

重要度 1/3 信頼度 1/3 llama.cpp Hugging Face Inference efficiency

原文を読む

github llama.cpp · 12時間前 · 3 回表示

llama.cpp v0.5.0がHRM-Textサポート、CUDA conv2dの高速化、マルチアドレスバインディングを追加

llama.cppプロジェクトはバージョン0.5.0をリリースし、バックエンドのパフォーマンス、より広範なモデル対応、そしてより堅牢なサーバー運用に焦点を当てています。このアップデートでは、HRM-Text (DFM Mimir 1B) や MiMo-V2.6 といった新しいアーキテクチャのサポートを導入し、CUDA および Metal の最適化を通じて計算効率を大幅に向上させました。

github llama.cpp · 15時間前 · 11 回表示

llama.cpp b11147 が A8 Q6_K non-MoE dp4a OpenCL カーネルを追加

llama.cpp プロジェクトはバージョン b11147 をリリースし、OpenCL の新しいバイナリカーネルを導入しました。このアップデートは、A8 Q6_K non-MoE dp4a 構成のサポートを特に追加します。

github llama.cpp · 20時間前 · 12 回表示

llama.cpp b11132 が Gemma 4 DSpark ドラフトバックボーンサポートを追加

llama.cpp プロジェクトはバージョン b11132 をリリースし、Gemma 4 DSpark ドラフトバックボーンのサポートを導入しました。このアップデートにより、フルアテンションおよび SWA Gemma 4 ドラフトの GGUF 変換とランタイム機能が有効になり、結合された出力重みとブール型のバックボーンメタデータが含まれます。

github llama.cpp · 1日前 · 12 回表示

llama.cpp b11122 が MMVQ GLU 融合を拡張し、新しい SYCL 融合を追加

llama.cpp プロジェクトはバージョン b11122 をリリースしました。これには SYCL バックエンドの重要な更新が含まれています。このリリースでは、MMVQ GLU 融合が混合量子化タイプをサポートするように拡張され、rms_norm+scale および ssm_conv+silu 演算のための新しい融合が導入されました。

github llama.cpp · 2日前 · 14 回表示

llama.cpp b11111 が Intel Xe の flash attention 最適化カーネルを追加

llama.cpp プロジェクトはビルド b11111 をリリースし、Xe-LPG Plus、Xe2、Xe3 アーキテクチャの split k パス向けに Vulkan ベースの flash attention 最適化カーネルを導入しました。