github llama.cpp · 1時間前 · inference

llama.cpp b10663がRMS_NORM_MULの重みオフセットバグを修正

翻訳元 English → 日本語

llama.cppプロジェクトはバージョンb10663をリリースしました。これには、グループ化およびブロードキャスト正規化に影響を与えるRMS_NORM_MULの重みオフセットバグの修正が含まれています。

グループ化/ブロードキャスト正規化のRMS_NORM_MUL重みオフセットバグを修正（PR #27798）。
macOS（Apple SiliconおよびIntel）、iOS、Linux（CPU、Vulkan、ROCm 7.14、OpenVINO、SYCL）、Android、Windows（CPU、OpenCL Adreno、CUDA 12/13、Vulkan、OpenVINO、SYCL、ROCm 7.14）、openEuler用のバイナリを提供。

このリリースは、特定のモデルアーキテクチャに対して正しい正規化動作を保証し、サポートされているプラットフォーム全体で更新されたバイナリを提供します。

重要度 1/3 信頼度 1/3 llama.cpp Inference efficiency

原文を読む

github llama.cpp · たった今ライブ

llama.cpp b10665 が Nemotron3.5 の DSpark サポートを追加

llama.cpp プロジェクトはビルド b10665 をリリースし、Nemotron3.5 モデルの DSpark サポートを導入しました。

github llama.cpp · 2時間前 · 1 回表示

llama.cpp b10662 が unified KV キャッシュ用に ctx-per-slot を追加

llama.cpp プロジェクトはビルド b10662 をリリースし、unified KV キャッシュに対してスロットごとのコンテキストを指定できるようにする新しい `--kv-unified-per-slot` 引数を導入しました。この変更は、以前のコンテキスト比率メカニズムをコンテキストプールスロットに置き換え、基盤の実装をリファクタリングします。

github llama.cpp · 3時間前 · 2 回表示

llama.cpp が Qwen3.8-Flash-Next (qwen4exp) アーキテクチャのサポートを追加

llama.cpp プロジェクトは、Qwen3.8-Flash-Next (qwen4exp) モデルアーキテクチャのサポートを追加し、ハイパー接続、ゲート付きデルタネット、Experts of Mixture、PLE n-gram ハッシュ埋め込みなどの特定のコンポーネントを実装しました。

github llama.cpp · 4時間前 · 1 回表示

llama.cpp b10658 が DFlash2 サポートを追加し、mrope のバグを修正

llama.cpp プロジェクトはビルド b10658 をリリースし、ローカル畳み込みと候補セレクタを含む DFlash2 仕様のサポートを導入しました。このアップデートでは、コードベース内の特定の mrope バグも修正されています。

github llama.cpp · 4時間前 · 1 回表示

llama.cppがWindows ROCmリリースにHIPランタイムDLLをバンドル

llama.cppプロジェクトは、Windows ROCmリリースを更新し、必要なHIPランタイムDLLをバイナリと共に直接バンドルしました。この変更は問題#26929に対処し、System32内のドライバーのコピーと競合する可能性のあるものではなく、正しいHIPランタイムがロードされることを保証します。