github llama.cpp · 2時間前 · inference

llama.cpp b10231 が DSpark サイドカーのサポートを追加

翻訳元 English → 日本語

llama.cpp プロジェクトはビルド b10231 をリリースし、DSpark 推測デコーディングサイドカーのサポートを導入しました。この更新により、dspark ファイルは他の推測サイドカーと同様に解決され、-hfd タグが適用され、追加の Markov head があるため、自動選択で dflash よりも dspark が優先されます。

リリースでは、macOS (Apple Silicon および Intel)、iOS、Linux (Ubuntu x64、arm64、s390x、CPU、Vulkan、ROCm 7.2、OpenVINO、SYCL バックエンド対応)、Android (arm64)、Windows (CPU、OpenCL Adreno、CUDA 12/13、Vulkan、OpenVINO、SYCL、HIP)、openEuler (ACL Graph 対応の x86 および aarch64) 用のバイナリが提供されています。

この更新により、複数のオペレーティングシステムと GPU アーキテクチャにわたって llama.cpp ユーザーが利用可能なハードウェアアクセラレーションオプションが拡大します。

重要度 1/3 信頼度 1/3 llama.cpp Inference efficiency

原文を読む

関連記事

github llama.cpp · たった今ライブ

llama.cpp b10235 が f32 用に SILU_BACK op を追加

llama.cpp プロジェクトはバージョン b10235 をリリースし、f32 精度用の新しい SILU_BACK 演算を導入しました。このアップデートには silu_back オペレータの実装が含まれ、ggml-metal-ops.cpp ファイルから冗長なアサーションが削除されました。

github llama.cpp · 1時間前 · 1 回表示ライブ

llama.cpp b10232 が Metal で DeepSeek V4 ハイパー接続を実装

llama.cpp プロジェクトはビルド b10232 をリリースし、Metal バックエンドを介して DeepSeek V4 ハイパー接続のサポートを導入しました。このアップデートにより、GGML_OP_DSV4_HC_COMB、GGML_OP_DSV4_HC_PRE、および GGML_OP_DSV4_HC_POST 演算の実装が追加されました。

github llama.cpp · 6時間前

llama.cpp b10229 が OpenCL プロファイリングデータのフラッシュされない問題を修正

llama.cpp プロジェクトはバージョン b10229 をリリースし、OpenCL バックエンドの重要なバグフィックスを含んでいます。このアップデートは、プログラム終了時にプロファイリングデータが書き込まれない問題を解決します。

media Hugging Face Forums · 21時間前 · 6 回表示

Hardik Kumar氏、最大4.66倍の価格差を示すHF推論価格行列を公開

Hugging Faceで公開された新しいデータセットは、モデル推論プロバイダー向けの包括的な価格行列を提供し、異なるベンダー間での同一モデルのコストの大きな格差を明らかにしています。

github llama.cpp · 1日前 · 7 回表示

llama.cpp b10219 がチャット履歴に reasoning_content を永続化

llama.cpp プロジェクトはバージョン b10219 をリリースし、チャット履歴内に推論コンテンツを永続化する CLI の修正が含まれています。以前は、`llama-cli` がストリームから推論を収集して表示していましたが、メッセージにはアシスタントのコンテンツのみが保存されており、`--reasoning-preserve` フラグが後のターンで以前の思考を再注入できませんでした。