github llama.cpp · 1日前 · inference

llama.cpp b10951 は llama_decode の前に llama_n_rs_seq を移動して不要な呼び出しを回避

翻訳元 English → 日本語

llama.cpp プロジェクトはバージョン b10951 をリリースし、デコードロジックのコード最適化が含まれています。`llama_n_rs_seq` 関数呼び出しは now `llama_decode` の前に実行され、チェックが成功した場合にシステムが直接戻ることを可能にします。

この変更により、早期リターン条件が満たされたときに `res` 変数を設定し、goto ステートメントを使用する必要がなくなります。
主な動機は、必要がない場合に `llama_decode` を呼び出さないようにし、効率を向上させることです。
バイナリは macOS (Apple Silicon および Intel)、iOS、Linux (CPU、Vulkan、ROCm、OpenVINO、SYCL)、Android、Windows (CPU、CUDA 12/13、Vulkan、OpenVINO、SYCL、ROCm)、openEuler で利用可能です。

重要度 1/3 信頼度 1/3 llama.cpp Inference efficiency Local inference

原文を読む

github llama.cpp · 2時間前 · 2 回表示

llama.cpp b10982がDSV4/GLM向けにVulkanスパースFlash Attentionサポートを追加

llama.cppプロジェクトは、Vulkanバックエンドを介してスパースFlash Attentionのサポートを導入するビルドb10982をリリースしました。このアップデートは特にDSV4およびGLMモデルを対象としており、互換性のあるGPUハードウェア上でスパース注意機構を活用できるようになります。

github llama.cpp · 3時間前 · 2 回表示

llama.cpp b10981がGemma-4のステートフルデコードを修正し、GPU上のMoE推論を最適化

llama.cpp b10981リリースは、OpenVINOバックエンドのステートフルデコードパスにおける重大な正確性の問題を解決し、特にレイヤーごとのヘッドサイズを使用するGemma-4などのモデルのサポートを修正します。また、GPU上のMixture of Experts (MoE) 推論の最適化を導入し、KV状態のリレイアウトを通じてパフォーマンスを向上させます。

github llama.cpp · 21時間前 · 8 回表示

llama.cpp 0.4.1がMaple 20B-A1B、Tencent Hy 4、Spark2.5のサポートを追加

llama.cppプロジェクトはバージョン0.4.1をリリースし、CPU上でMaple 20B-A1Bの3値MoEアーキテクチャのサポート、およびTencent Hy 4とSpark2.5モデルのプレビューサポートを導入しました。

github llama.cpp · 3日前 · 12 回表示

llama.cpp b10930 はモデル制限時にモデルのダウンロードを許可

llama.cpp プロジェクトはバージョン b10930 をリリースしました。これには、ユーザーがモデル制限に達している場合でもモデルのダウンロードを可能にするサーバーコンポーネントの修正が含まれています。

github llama.cpp · 3日前 · 4 回表示

llama.cpp b10926 リリースは非対応の tq1_0 量子化を適切に処理する

llama.cpp プロジェクトは、非対応の tq1_0 量子化を適切に失敗させることで処理する修正を含むバージョン b10926 をリリースしました。このアップデートは、特定の量子化フォーマットに遭遇した際の安定性を向上させるため、問題 #28681 に対処しています。