github llama.cpp · 1時間前 · inference

大きなバッチ向けのデ量子化KVキャッシュを備えたllama.cpp b10538リリース

翻訳元 English → 日本語

llama.cppプロジェクトはバージョンb10538をリリースし、metalバックエンドに重要な最適化を導入しました。このアップデートにより、キー・バリュー(KV)キャッシュのデ量子化が大きなバッチサイズに対してのみ有効になります。

主な変更点はmetalバックエンドにあり、大きなバッチを処理している場合のみデ量子化されたKVキャッシングを適用します。
macOS (Apple SiliconおよびIntel)、iOS、Linux (CPU、Vulkan、OpenVINO、SYCL)、Android、Windows (CPU、CUDA 12/13、Vulkan、OpenVINO、SYCL、ROCm)、openEuler用のバイナリが利用可能です。
このリリースでは、macOS Apple SiliconでのKleidiAIサポートとUbuntuでのROCm 7.14が無効になっています。

この最適化は、互換性のあるハードウェア上で大きなバッチサイズを含むワークロードのメモリ効率またはパフォーマンスを向上させることを目的としています。

重要度 1/3 信頼度 1/3 llama.cpp Inference efficiency Local inference

原文を読む

関連記事

github llama.cpp · 2時間前 · 1 回表示

llama.cpp b10532がFlash Attention向けのMetal KV dequantizationを追加

llama.cppプロジェクトはバージョンb10532をリリースし、Metalバックエンドで量子化されたKey-Value (KV) キャッシュをF16にデ量子化する前処理パスを導入しました。これはFlash Attentionの実行前に適用されます。

github llama.cpp · 6時間前 · 1 回表示

llama.cpp b10519 メトリクスアクセスを可能にするためスリープ処理のリファクタリング

llama.cppプロジェクトはバージョンb10519をリリースし、サーバーのスリープ処理メカニズムの重要なリファクタリングが含まれています。この変更により、サーバーがスリープ状態にある間も/metricsエンドポイントへのアクセスが可能になります。

github llama.cpp · 9時間前 · 2 回表示

llama.cpp b10517 が Vulkan FA 脱量子化の最適化と修正を追加

llama.cpp プロジェクトはビルド b10517 をリリースし、フラッシュアテンション (FA) 脱量子化パスに Vulkan 固有の改善をいくつか導入しました。主な変更点には、coopmat1 で q8_0 KV を一度脱量子化する、coopmat2 で FA 脱量子化パスをスキップする、Intel Xe1 を FA 脱量子化パスから除外するなどが含まれます。

media r/LocalLLaMA · 14時間前 · 2 回表示

G9v3-39A5B MoEモデルがartificialanalysisで強力な結果を示す

G9v3-39A5Bモデルは、artificialanalysisでのパフォーマンスにより注目を集めており、Qwen 3.6 27Bよりも上位にランクされていると報告されています。

media Hugging Face Forums · 14時間前 · 1 回表示

Celestiumパイプラインにより、適応的FP16とCPUフォールバックで4GB-8GB GPU上でSDXLが実行可能に

Celestiumのハードウェア非依存推論パイプラインを用いた診断により、Stable Diffusion XLは適応的FP16精度と自律的なメモリクリーンアップを活用することで、低VRAM GPU（4GB、6GB、8GB）で安定して実行できることが示された。このアプローチはマルチステージパイプライン中のフラグメンテーションの急増を防ぎ、GPU VRAMが枯渇した際に生成を維持するために緊急CPUモードを利用する。