github llama.cpp · 1時間前 · inference

llama.cpp b10509 が Metal、CUDA、Vulkan 向けに ggml_rope_set_offset サポートを追加

翻訳元 English → 日本語

llama.cpp プロジェクトはビルド b10509 をリリースし、複数のハードウェアバックエンドで `ggml_rope_set_offset` 関数のサポートを導入しました。このアップデートには、新しい操作の CPU、Metal、CUDA、Vulkan の実装が含まれています。

`ggml_rope_set_offset` パラメータと CPU カーネル実装を追加。
新しい rope オフセット機能に対する Metal カーネルサポートを実装。
`supports_op` ガードを削除しながら `ggml_rope_set_offset` に対する CUDA サポートを有効化。
Linux と Windows の両方で `ggml_rope_set_offset` に対する Vulkan バックエンドサポートを追加。
関連する操作からインプレース最適化を削除。

リリースでは、CPU、GPU、OpenVINO や SYCL などの専用アクセラレータを含む様々なアーキテクチャ向けに、macOS、iOS、Linux、Android、Windows、openEuler のプリコンパイル済みバイナリが提供されています。

重要度 1/3 信頼度 1/3 llama.cpp Hugging Face Inference efficiency

原文を読む

関連記事

github llama.cpp · 6日前 · 18 回表示

llama.cpp b10427 が SYCL FFN 演算を融合し、スループットが最大 12.4%向上

llama.cpp プロジェクトはバージョン b10427 をリリースしました。これには SYCL を介した Intel Arc GPU 向けの性能最適化が含まれています。このアップデートでは、q4_K 密なフィードフォワードネットワーク (FFN) レヤー内で gate、up、GLU 演算の融合が実装されました。

github llama.cpp · 7日前 · 23 回表示

llama.cpp b10413がGGUFメタデータからドラフト仕様のタイプを自動検出

llama.cppプロジェクトはバージョンb10413をリリースし、ドラフトGGUFモデルのメタデータから直接推測デコーディングの仕様タイプを自動検出する機能を導入しました。

github llama.cpp · 7日前 · 26 回表示

llama.cpp b10410 が gemm non-oneDNN パスの個別 fp32 型プロモーションを削除

llama.cpp プロジェクトはバージョン b10410 をリリースしました。これには SYCL バックエンドへのコード変更が含まれています。このアップデートは GEMM non-oneDNN パスでの個別の fp32 型プロモーションを削除し、代わりに自動 fp16 プロモーションを使用します。

github llama.cpp · 7日前 · 25 回表示

llama.cpp b10408がQ3_K ESIMDカーネルを追加し、制御をランタイムに移行

llama.cppプロジェクトはバージョンb10408をリリースし、Intel GPU用のDMMV Q3_K ESIMDカーネルを導入しました。このリリースには、新しいQ4_KおよびQ6_K ESIMDカーネルも含まれており、ESIMDの制御をコンパイル時ではなくランタイムで可能にするためにコードベースがリファクタリングされました。

github llama.cpp · 9日前 · 23 回表示

llama.cpp b10353 が CUDA および Metal ROLL カーネルの静かな誤結果を修正

llama.cpp プロジェクトはビルド b10353 をリリースし、CUDA および Metal バックエンドでの ggml_roll 操作の重要なバグに対処しました。以前は、これらのバックエンドがストライド情報を無視していたため、置換された（非連続）ソーステンソルは静かに誤った結果を生成していました。