github llama.cpp · 2日前 · inference

llama.cpp b10947 が Nemotron-H MoE のゼロ除算クラッシュを修正

翻訳元 English → 日本語

llama.cpp プロジェクトはバージョン b10947 をリリースし、Nemotron-H モデルの重要なロード時クラッシュに対処しました。この更新は、NextN/MTP 尾部ループが非 MoE レイヤーに対してゼロ値を持つレイヤーごとの配列からエキスパート FFN サイズを導出する際に発生するゼロ除算エラーを防ぎます。

expert_feed_forward_length が欠落している場合、ゼロ除算の代わりに不正なメタデータを報告することで SIGFPE クラッシュを修正します。

macOS (Apple Silicon および Intel)、iOS、Linux (CPU、Vulkan、ROCm、OpenVINO、SYCL)、Android、Windows (CPU、CUDA 12/13、OpenCL、Vulkan、OpenVINO、SYCL、ROCm)、openEuler 用のバイナリを提供します。

この変更により、チェックポイント読み込み中にシグナルエラーでアプリケーションが終了するのを防ぎ、MoE レイヤーと密なレイヤーが混在するモデルの安定した動作を保証します。

重要度 1/3 信頼度 1/3 llama.cpp Inference efficiency

原文を読む

関連記事

github llama.cpp · 1時間前 · 1 回表示ライブ

llama.cpp b10984 が CUDA の行連続 SUM_ROWS サポートを追加

llama.cpp プロジェクトはバージョン b10984 をリリースし、行連続の SUM_ROWS 操作に対する CUDA サポートを導入しました。このアップデートでは、共有カーネルを通じて行連続テンソルを処理するために GGML_OP_MEAN を含むようにコードが整理されました。

github llama.cpp · 2時間前 · 1 回表示

llama.cpp b10985 は RPC ハッシュキャッシュを重みに制限

llama.cpp プロジェクトはビルド b10985 をリリースし、ハッシュベースのキャッシングを重みテンソンのみに制限するために RPC バックエンドを変更しました。この変更は、アクティベーションデータが不要にハッシュ化および保存され、ディスク使用量が過大になる問題を解決します。

github llama.cpp · 3時間前 · 4 回表示

llama.cpp b10982がDSV4/GLM向けにVulkanスパースFlash Attentionサポートを追加

llama.cppプロジェクトは、Vulkanバックエンドを介してスパースFlash Attentionのサポートを導入するビルドb10982をリリースしました。このアップデートは特にDSV4およびGLMモデルを対象としており、互換性のあるGPUハードウェア上でスパース注意機構を活用できるようになります。

github llama.cpp · 4時間前 · 2 回表示

llama.cpp b10981がGemma-4のステートフルデコードを修正し、GPU上のMoE推論を最適化

llama.cpp b10981リリースは、OpenVINOバックエンドのステートフルデコードパスにおける重大な正確性の問題を解決し、特にレイヤーごとのヘッドサイズを使用するGemma-4などのモデルのサポートを修正します。また、GPU上のMixture of Experts (MoE) 推論の最適化を導入し、KV状態のリレイアウトを通じてパフォーマンスを向上させます。

github llama.cpp · 5時間前 · 1 回表示

llama.cppがMiniCPM3のHSK=96、HSV=64向けにMetal FAカーネルを追加

llama.cppプロジェクトは、Apple SiliconでMiniCPM3が使用する特定の構成に対してFlash Attention (FA) カーネルサポートを追加しました。この変更は、注意キー長96および値長64の欠落したカーネルインスタンス化により`-fa auto`フラグが中止されるクラッシュを修正します。