github llama.cpp · たった今 · inference

llama.cpp b10721 が WebGPU のクラッシュを修正し、Windows での CUDA 13.4 サポートを追加

翻訳元 English → 日本語

llama.cpp プロジェクトはビルド b10721 をリリースしました。これには WebGPU バックエンドの重要な修正と、Windows 上のハードウェアサポートの拡張が含まれています。

オフセットが 4 の倍数でない場合に WebGPU `ggml_backend_tensor_get()` 実装でクラッシュする問題を修正。
CUDA 13.4 を搭載した Windows arm64 のプレビューサポートを追加。
macOS (Apple Silicon および Intel)、Linux (CPU、Vulkan、ROCm、OpenVINO、SYCL)、Android、および各種 CPU および GPU バックエンドに対応する Windows 用のバイナリを提供。

このリリースにより、アライメントされていないメモリオフセットを持つ WebGPU ユーザーの安定性が確保され、Windows 上の新しい CUDA アーキテクチャとの互換性が拡張されました。

重要度 1/3 信頼度 1/3 llama.cpp Inference efficiency Local inference

原文を読む

github llama.cpp · 2時間前

llama.cpp b10718 が specdec およびマルチトークン向けに MOE 融合を拡張

llama.cpp プロジェクトはバージョン b10718 をリリースし、CUDA バックエンドの重要なアップデートが含まれています。最も注目すべき変更は、Mixture of Experts (MOE) 融合をスペキュレイティブデコーディング（specdec）のサポートに拡張し、以前 MOE glu 融合と topk-router 融合が一度に1つのトークンの処理のみ制限されていたという制限に対処したことです。

github llama.cpp · 5時間前 · 1 回表示

llama.cpp b10715 が DFlash エンコーダを KV キャッシュ注入に融合

llama.cpp プロジェクトはビルド b10715 をリリースしました。これには DFlash 実装に対する重要な最適化が含まれています。DFlash エンコーダは、デコーディング中に KV キャッシュ注入プロセスに直接融合されるようになりました。

github llama.cpp · 7時間前 · 1 回表示

llama.cpp b10714 が Strix Halo 向け Vulkan mat-vec 行をチューニング

llama.cpp プロジェクトは、AMD Strix Halo ハードウェアを対象とした Vulkan バックエンドの特定の最適化を含むビルド b10714 をリリースしました。このアップデートは、バッチ推論中のパフォーマンスを向上させるために行列-ベクトル乗算の行数を調整します。

github llama.cpp · 13時間前 · 3 回表示

llama.cpp b10706 が SWIGLU_CLAMP と Vulkan シェーダーのサポートを追加

llama.cpp プロジェクトは、ggml バックエンドに新しい機能をもたらすビルド b10706 をリリースしました。このアップデートには、SWIGLU_CLAMP の追加と新しい Vulkan シェーダーの実装が含まれています。

github llama.cpp · 13時間前 · 9 回表示

llama.cpp b10707 がより高速な生成のために KV キャッシュセルのスキャンを最適化

llama.cpp プロジェクトは、キーバリュー (KV) キャッシュ処理のパフォーマンス最適化を含むバージョン b10707 をリリースしました。このアップデートでは、`for_each_token_in` 関数が修正され、特定セル内のすべてのシーケンスが確認された時点でスキャンを停止するようになり、可能な最大シーケンスすべてを反復処理するのではなく動作します。