github llama.cpp · 12時間前 · inference

llama.cpp b11035がVulkan用のIQ3_S MMQ行列乗算カーネルを追加

翻訳元 English → 日本語

llama.cppプロジェクトはバージョンb11035をリリースし、VulkanバックエンドでIQ3_S MMQ行列乗算カーネルのサポートを導入しました。

更新にはVulkan用の新しいIQ3_S MMQ matmulカーネルが含まれます。
Block_a_to_shmemはメモリアクセスを最適化するために2バイトロードを実行するようになりました。
IQ3_SがKタイルサイズを使用するため、アライメントチェックが調整されました。
バイナリはCPU、CUDA、ROCm、OpenVINO、SYCL、OpenCLプラットフォーム上でmacOS、Linux、Windows、Android、openEulerで利用可能です。

このリリースにより、さまざまなオペレーティングシステムとハードウェアアクセラレーター用の更新されたバイナリが提供され、ユーザーは新しいVulkan量子化サポートを活用できます。

重要度 1/3 信頼度 1/3 llama.cpp Hugging Face Inference efficiency

原文を読む

github llama.cpp · たった今 · 1 回表示ライブ

llama.cpp b11046 が flash_attn_f32_f16_bin カーネルの OpenCL サポートを追加

llama.cpp プロジェクトはバージョン b11046 をリリースし、`flash_attn_f32_f16_bin` カーネルの OpenCL サポートを導入しました。このアップデートには、OpenCL デバイス上の Flash Attention 用のガード付きプリフィル機能も含まれています。

github llama.cpp · 1時間前 · 1 回表示ライブ

llama.cpp b11044 が hexagon im2col を更新し、バイナリをリリース

llama.cpp プロジェクトはバージョン b11044 をリリースしました。これには、image-to-column (im2col) 操作の改善のための hexagon バックエンドの更新が含まれています。このリリースでは、macOS、Linux、Windows、Android、openEuler 向けに CPU、GPU、その他のハードウェアアクセラレータ用のプリビルドバイナリが提供されています。

github llama.cpp · 2時間前 · 1 回表示

llama.cpp b11045 が Hexagon バックエンドに ROLL 演算のサポートを追加

llama.cpp プロジェクトはバージョン b11045 をリリースし、Hexagon バックエンド内で ROLL 演算のサポートを導入しました。

github llama.cpp · 1日前 · 5 回表示

llama.cpp b11026 が Qwen35MoE の gate_up_exps をスキップ

llama.cpp プロジェクトはビルド b11026 をリリースし、TENSOR_SKIP フラグが設定されている場合に gate_up_exps をスキップする変更を導入しました。この修正は、MTP テンソルが融合されているが読み込まれていない Qwen35MoE モデルに特に必要です。

github llama.cpp · 2日前 · 4 回表示

llama.cpp b11019が埋め込みファイルのGGUFデータアラインメントを修正し、LoRA読み込みを追加

llama.cppプロジェクトはバージョンb11019をリリースし、非アラインメントオフセットに埋め込まれたGGUFファイルが誤ったテンソルデータを返す重大なバグを修正しました。この更新では、ファイルの先頭ではなくオフセット0相対でGGUFデータセクションをアラインメントし、埋め込みモデルの正しい読み込みを保証します。