github llama.cpp · 1日前 · inference

llama.cpp b10690 がコンテキスト切替時の K キャッシュクラッシュを修正

翻訳元 English → 日本語

llama.cpp プロジェクトはバージョン b10690 をリリースしました。これには、非量子化キーバリューキャッシュの重要な修正が含まれています。この更新により、Hadamard 行列が k_rot テンソルにコピーされるのは割り当てられたバッファがある場合のみであることを保証することで、コンテキスト切替時に発生するクラッシュを防ぎます。

Hadamard 行列を条件付きでコピーすることで、コンテキスト切替時の非量子化 K キャッシュのクラッシュを修正
macOS (Apple Silicon および Intel)、iOS、Linux (CPU、Vulkan、ROCm、OpenVINO、SYCL)、Windows (CPU、CUDA、Vulkan、OpenVINO、SYCL、ROCm)、Android、および openEuler 用のバイナリを提供
リリース用の UI 更新とアテストを含める

重要度 1/3 信頼度 1/3 llama.cpp Hugging Face Inference efficiency

原文を読む

github llama.cpp · 2時間前

llama.cpp b10718 が specdec およびマルチトークン向けに MOE 融合を拡張

llama.cpp プロジェクトはバージョン b10718 をリリースし、CUDA バックエンドの重要なアップデートが含まれています。最も注目すべき変更は、Mixture of Experts (MOE) 融合をスペキュレイティブデコーディング（specdec）のサポートに拡張し、以前 MOE glu 融合と topk-router 融合が一度に1つのトークンの処理のみ制限されていたという制限に対処したことです。

github llama.cpp · 4時間前 · 3 回表示

llama.cpp b10717 リリースで SYCL メモリ情報取得が強化

llama.cpp プロジェクトはバージョン b10717 をリリースしました。これには Intel GPU 用の SYCL バックエンドの特定の強化が含まれています。このアップデートは、L0 SYCL API を活用して空きメモリ情報を取得する能力を向上させます。

github llama.cpp · 10時間前 · 3 回表示

llama.cpp b10712 が Qwen 3.8 Flash Next 向けに Vulkan top-k radix select を追加

llama.cpp プロジェクトはビルド b10712 をリリースし、1024 以上の k 値をサポートするように設計された Vulkan 用の新しい top-k radix sort シェーダーを導入しました。このアップデートは Qwen 3.8 Flash Next モデルを特にターゲットとしており、対応するテストおよび top-k qsa フュージョンを含みます。

github llama.cpp · 17時間前 · 6 回表示

llama.cpp b10705 が TENSOR_READ_LAZY の処理を改善

llama.cpp プロジェクトはバージョン b10705 をリリースしました。これには TENSOR_READ_LAZY 処理メカニズムの改善が含まれています。この更新により、遅延設定が有効な場合に CPU で遅延テンソルが強制的に読み込まれます。

github llama.cpp · 18時間前 · 4 回表示

llama.cpp b10702 が AMD gfx1201 の Q2_0 ドット積を最適化

llama.cpp プロジェクトはバージョン b10702 をリリースし、AMD の gfx1201 アーキテクチャにおける Q2_0 量子化ドット積パスの特定の最適化を含んでいます。この更新により、HIP 実装がネイティブな amdgcn 置換命令を使用するよう拡張され、この特定のハードウェア構成のパフォーマンスが向上します。