github llama.cpp · たった今 · inference

llama.cpp b10410 が gemm non-oneDNN パスの個別 fp32 型プロモーションを削除

翻訳元 English → 日本語

llama.cpp プロジェクトはバージョン b10410 をリリースしました。これには SYCL バックエンドへのコード変更が含まれています。このアップデートは GEMM non-oneDNN パスでの個別の fp32 型プロモーションを削除し、代わりに自動 fp16 プロモーションを使用します。

リリースでは、macOS (Apple Silicon および Intel)、Linux (Ubuntu x64、arm64、s390x、Vulkan、OpenVINO、SYCL FP32/FP16)、Android、Windows (CPU、OpenCL Adreno、CUDA 12/13、Vulkan、OpenVINO、SYCL、ROCm 7.14)、openEuler のバイナリが提供されます。
このリリースでは macOS Apple Silicon KleidiAI サポートが無効になっています。
Ubuntu x64 ROCm 7.14 サポートも無効になっています。
UI コンポーネントは別個のダウンロードとして利用可能です。

このアップデートは、明示的な処理に頼るのではなく自動型プロモーションに依存することで、SYCL GEMM の実装を簡素化します。

重要度 1/3 信頼度 1/3 llama.cpp Hugging Face Inference efficiency

原文を読む

関連記事

github llama.cpp · 2時間前

llama.cpp b10408がQ3_K ESIMDカーネルを追加し、制御をランタイムに移行

llama.cppプロジェクトはバージョンb10408をリリースし、Intel GPU用のDMMV Q3_K ESIMDカーネルを導入しました。このリリースには、新しいQ4_KおよびQ6_K ESIMDカーネルも含まれており、ESIMDの制御をコンパイル時ではなくランタイムで可能にするためにコードベースがリファクタリングされました。

github llama.cpp · 3日前

llama.cpp b10353 が CUDA および Metal ROLL カーネルの静かな誤結果を修正

llama.cpp プロジェクトはビルド b10353 をリリースし、CUDA および Metal バックエンドでの ggml_roll 操作の重要なバグに対処しました。以前は、これらのバックエンドがストライド情報を無視していたため、置換された（非連続）ソーステンソルは静かに誤った結果を生成していました。

github llama.cpp · 6日前 · 1 回表示

llama.cpp b10321は、部分simdgroup行長に対するNORM/RMS_NORMを修正

llama.cppプロジェクトがバージョンb10321をリリースしました。これにはMetalにおけるGGML_OP_NORMおよびGGML_OP_RMS_NORM演算の重要な修正が含まれています。

github llama.cpp · 7日前 · 6 回表示

llama.cpp b10293がgfx1151のROCm CIを追加し、RDNA3.5の推論を修正

llama.cppプロジェクトはビルドb10293をリリースしました。これにはgfx1151アーキテクチャ向けのAMD ROCm継続的インテグレーションの導入と、統合RDNA3.5 GPUの正確性の問題の解決が含まれます。

github llama.cpp · 9日前 · 3 回表示

llama.cpp b10255がoneDNN SDPAを非FP16 KVキャッシュに拡張

llama.cpp b10255リリースは、Q4_0–Q8_0量子化フォーマットとFP32を含む非FP16キーバリュー（KV）キャッシュをサポートするために、oneDNN SDPAパスを拡張します。この更新により、K/Vテンソルを処理前にデバイス上でデ量子化または密集FP16に変換することで、融合型 systolic カーネルがネイティブFP16パスと同一に実行可能になります。