github llama.cpp · 17時間前 · inference

llama.cpp b10705 が TENSOR_READ_LAZY の処理を改善

翻訳元 English → 日本語

llama.cpp プロジェクトはバージョン b10705 をリリースしました。これには TENSOR_READ_LAZY 処理メカニズムの改善が含まれています。この更新により、遅延設定が有効な場合に CPU で遅延テンソルが強制的に読み込まれます。

llama.cpp での TENSOR_READ_LAZY 処理の改善
遅延モードがアクティブな場合に CPU で遅延テンソルの動作を強制

このリリースでは、CPU、CUDA、ROCm、Vulkan、OpenVINO を含むさまざまなハードウェアバックエンド向けに、macOS、Linux、Windows、Android、iOS 用の更新されたバイナリが提供されています。

重要度 1/3 信頼度 1/3 llama.cpp Hugging Face Inference efficiency

原文を読む

関連記事

github llama.cpp · 2時間前

llama.cpp b10718 が specdec およびマルチトークン向けに MOE 融合を拡張

llama.cpp プロジェクトはバージョン b10718 をリリースし、CUDA バックエンドの重要なアップデートが含まれています。最も注目すべき変更は、Mixture of Experts (MOE) 融合をスペキュレイティブデコーディング（specdec）のサポートに拡張し、以前 MOE glu 融合と topk-router 融合が一度に1つのトークンの処理のみ制限されていたという制限に対処したことです。

github llama.cpp · 4時間前 · 3 回表示

llama.cpp b10717 リリースで SYCL メモリ情報取得が強化

llama.cpp プロジェクトはバージョン b10717 をリリースしました。これには Intel GPU 用の SYCL バックエンドの特定の強化が含まれています。このアップデートは、L0 SYCL API を活用して空きメモリ情報を取得する能力を向上させます。

github llama.cpp · 10時間前 · 3 回表示

llama.cpp b10712 が Qwen 3.8 Flash Next 向けに Vulkan top-k radix select を追加

llama.cpp プロジェクトはビルド b10712 をリリースし、1024 以上の k 値をサポートするように設計された Vulkan 用の新しい top-k radix sort シェーダーを導入しました。このアップデートは Qwen 3.8 Flash Next モデルを特にターゲットとしており、対応するテストおよび top-k qsa フュージョンを含みます。

github llama.cpp · 18時間前 · 4 回表示

llama.cpp b10702 が AMD gfx1201 の Q2_0 ドット積を最適化

llama.cpp プロジェクトはバージョン b10702 をリリースし、AMD の gfx1201 アーキテクチャにおける Q2_0 量子化ドット積パスの特定の最適化を含んでいます。この更新により、HIP 実装がネイティブな amdgcn 置換命令を使用するよう拡張され、この特定のハードウェア構成のパフォーマンスが向上します。

github llama.cpp · 1日前 · 6 回表示

llama.cpp b10691 が F16 mul_mat の Metal null-pipeline クラッシュを修正

llama.cpp プロジェクトは、Metal バックエンドの重要な安定性問題を解決するビルド b10691 をリリースしました。このアップデートは、F16 ソース乗算操作中に発生する null-pipeline クラッシュを具体的に解消します。