github llama.cpp · 1時間前 · inference

llama.cpp b10533 でサポートされていない JSON スキーマの正規表現パターンに対する graceful なフォールバックを追加

翻訳元 English → 日本語

llama.cpp プロジェクトはビルド b10533 をリリースし、JSON スキーマ内のサポートされていない正規表現パターンを適切に処理する修正が含まれています。

主要なコード変更により、基盤実装でサポートされていない正規表現パターンに出会った際にシステムが graceful にフォールバックできるようになります。
macOS (Apple Silicon および Intel)、Linux (Ubuntu x64、arm64、s390x with CPU、Vulkan、OpenVINO、SYCL)、Windows (CPU、CUDA 12/13、Vulkan、OpenVINO、SYCL、ROCm 7.14)、Android、および openEuler 用のバイナリが利用可能です。
このリリースでは、macOS Apple Silicon の KleidiAI サポートと Ubuntu x64 ROCm 7.14 のサポートが無効になっています。
ディストリビューションには iOS XCFramework とスタンドアロン UI パッケージも含まれています。

重要度 1/3 信頼度 1/3 llama.cpp Hugging Face Inference efficiency

llama.cpp b10532がFlash Attention向けのMetal KV dequantizationを追加

llama.cppプロジェクトはバージョンb10532をリリースし、Metalバックエンドで量子化されたKey-Value (KV) キャッシュをF16にデ量子化する前処理パスを導入しました。これはFlash Attentionの実行前に適用されます。

github llama.cpp · 8時間前 · 2 回表示

llama.cpp b10517 が Vulkan FA 脱量子化の最適化と修正を追加

llama.cpp プロジェクトはビルド b10517 をリリースし、フラッシュアテンション (FA) 脱量子化パスに Vulkan 固有の改善をいくつか導入しました。主な変更点には、coopmat1 で q8_0 KV を一度脱量子化する、coopmat2 で FA 脱量子化パスをスキップする、Intel Xe1 を FA 脱量子化パスから除外するなどが含まれます。

github llama.cpp · 19時間前 · 1 回表示

llama.cpp b10509 が Metal、CUDA、Vulkan 向けに ggml_rope_set_offset サポートを追加

llama.cpp プロジェクトはビルド b10509 をリリースし、複数のハードウェアバックエンドで `ggml_rope_set_offset` 関数のサポートを導入しました。このアップデートには、新しい操作の CPU、Metal、CUDA、Vulkan の実装が含まれています。

github llama.cpp · 7日前 · 18 回表示

llama.cpp b10427 が SYCL FFN 演算を融合し、スループットが最大 12.4%向上

llama.cpp プロジェクトはバージョン b10427 をリリースしました。これには SYCL を介した Intel Arc GPU 向けの性能最適化が含まれています。このアップデートでは、q4_K 密なフィードフォワードネットワーク (FFN) レヤー内で gate、up、GLU 演算の融合が実装されました。

github llama.cpp · 7日前 · 23 回表示

llama.cpp b10413がGGUFメタデータからドラフト仕様のタイプを自動検出

llama.cppプロジェクトはバージョンb10413をリリースし、ドラフトGGUFモデルのメタデータから直接推測デコーディングの仕様タイプを自動検出する機能を導入しました。