github llama.cpp · たった今 · inference

llama.cpp b10734 が M5+/A19+ で Metal 4.0 tensor API を有効化

翻訳元 English → 日本語

llama.cpp プロジェクトはバージョン b10734 をリリースしました。これには、M5+ または A19+ チップを搭載したデバイス向けに Metal 4.0 tensor API を有効にする更新が含まれています。

tensor API の Metal 4.0 言語バージョンを要求します。
個別の metallib から tensor API カーネルを読み込みます。
tensor API カーネル用の metallib ビルド順序を修正しました。
external-metallib tensor API の回帰テストを追加しました。

このリリースでは、CPU、CUDA、ROCm、Vulkan、OpenVINO、SYCL、OpenCL を含むさまざまなハードウェアバックエンドに対して、macOS、iOS、Linux、Windows、Android、openEuler 用のバイナリが提供されます。

重要度 1/3 信頼度 1/3 llama.cpp Inference efficiency Local inference

原文を読む

media r/LocalLLaMA · 5時間前 · 1 回表示

ExLlamaV3、MoE专家のCPUオフロードと新GLM-5.3-Flash、Qwen3.8-Flashモデルを追加

TurboderpはExLlamaV3に重要なアップデートを提供し、Mixture of Experts (MoE) 専門家のためのCPUオフロード機能を導入しました。このアップデートには、新たにリリースされたGLM-5.3-FlashおよびQwen3.8-Flashモデルのサポートも含まれます。

github llama.cpp · 18時間前 · 2 回表示

llama.cpp b10724 が kv-cache 状態の復元を最適化し、コピー数を 1.3M から 224 に削減

llama.cpp プロジェクトはビルド b10724 をリリースし、連続する実行ごとのバッチ処理された scatter リードによって非連続な KV キャッシュセルの復元パフォーマンスを大幅に改善しました。

github llama.cpp · 20時間前 · 3 回表示

llama.cpp b10721 が WebGPU のクラッシュを修正し、Windows での CUDA 13.4 サポートを追加

llama.cpp プロジェクトはビルド b10721 をリリースしました。これには WebGPU バックエンドの重要な修正と、Windows 上のハードウェアサポートの拡張が含まれています。

github llama.cpp · 22時間前 · 9 回表示

llama.cpp b10718 が specdec およびマルチトークン向けに MOE 融合を拡張

llama.cpp プロジェクトはバージョン b10718 をリリースし、CUDA バックエンドの重要なアップデートが含まれています。最も注目すべき変更は、Mixture of Experts (MOE) 融合をスペキュレイティブデコーディング（specdec）のサポートに拡張し、以前 MOE glu 融合と topk-router 融合が一度に1つのトークンの処理のみ制限されていたという制限に対処したことです。

github llama.cpp · 1日前 · 4 回表示

llama.cpp b10715 が DFlash エンコーダを KV キャッシュ注入に融合

llama.cpp プロジェクトはビルド b10715 をリリースしました。これには DFlash 実装に対する重要な最適化が含まれています。DFlash エンコーダは、デコーディング中に KV キャッシュ注入プロセスに直接融合されるようになりました。