github llama.cpp · 1時間前 · inference

llama.cpp b11007 が MTP ドラフトの CUDA graph を有効化

翻訳元 English → 日本語

llama.cpp プロジェクトはバージョン b11007 をリリースし、Multi-Token Prediction (MTP) ドラフトでの CUDA graphs のサポートを導入しました。このアップデートは、CUDA graph 実行を活用することでドラフトプロセスの効率を向上させます。

MTP ドラフトの CUDA graph を有効化して使用効率を向上させる。
macOS (Apple Silicon および Intel)、iOS、Linux (CPU、Vulkan、CUDA 12/13、ROCm、OpenVINO、SYCL)、Android、Windows (CPU、OpenCL、CUDA 12/13、Vulkan、OpenVINO、SYCL、ROCm)、openEuler のバイナリを提供。
対応すべてのプラットフォームの UI バイナリを含める。

このリリースにより、ユーザーは新しい MTP ドラフト実装を通じて、互換性のある NVIDIA GPU で最適化された推論パフォーマンスの恩恵を受けることができます。

重要度 1/3 信頼度 1/3 llama.cpp Inference efficiency Local inference

原文を読む

github llama.cpp · たった今ライブ

llama.cpp b11006 が K-Quants Q4_K および Q6_K の Hexagon サポートを追加

llama.cpp プロジェクトはバージョン b11006 をリリースし、K-Quantization フォーマットを処理するための Qualcomm Hexagon プロセッサのサポートを導入しました。このアップデートでは、Hexagon アーキテクチャ上で Q4_K および Q6_K 量子化レベル用の特定のカーネルが実装されました。

github llama.cpp · 1日前 · 8 回表示

llama.cpp b10982がDSV4/GLM向けにVulkanスパースFlash Attentionサポートを追加

llama.cppプロジェクトは、Vulkanバックエンドを介してスパースFlash Attentionのサポートを導入するビルドb10982をリリースしました。このアップデートは特にDSV4およびGLMモデルを対象としており、互換性のあるGPUハードウェア上でスパース注意機構を活用できるようになります。

github llama.cpp · 1日前 · 5 回表示

llama.cpp b10981がGemma-4のステートフルデコードを修正し、GPU上のMoE推論を最適化

llama.cpp b10981リリースは、OpenVINOバックエンドのステートフルデコードパスにおける重大な正確性の問題を解決し、特にレイヤーごとのヘッドサイズを使用するGemma-4などのモデルのサポートを修正します。また、GPU上のMixture of Experts (MoE) 推論の最適化を導入し、KV状態のリレイアウトを通じてパフォーマンスを向上させます。

github llama.cpp · 2日前 · 12 回表示

llama.cpp 0.4.1がMaple 20B-A1B、Tencent Hy 4、Spark2.5のサポートを追加

llama.cppプロジェクトはバージョン0.4.1をリリースし、CPU上でMaple 20B-A1Bの3値MoEアーキテクチャのサポート、およびTencent Hy 4とSpark2.5モデルのプレビューサポートを導入しました。

github llama.cpp · 3日前 · 3 回表示

llama.cpp b10951 は llama_decode の前に llama_n_rs_seq を移動して不要な呼び出しを回避

llama.cpp プロジェクトはバージョン b10951 をリリースし、デコードロジックのコード最適化が含まれています。`llama_n_rs_seq` 関数呼び出しは now `llama_decode` の前に実行され、チェックが成功した場合にシステムが直接戻ることを可能にします。