github llama.cpp · 5時間前 · inference

llama.cpp b11362 が F16 KV のテンソル API 用フラッシュアテンションカーネルを追加

翻訳元 English → 日本語

llama.cpp プロジェクトはビルド b11362 をリリースし、F16 キーバリュー (KV) ストレージをサポートする新しいテンソル API フラッシュアテンションカーネルを導入しました。このアップデートは、CUDA、Vulkan、ROCm を含むさまざまなバックエンドオプションとともに、macOS、Linux、Windows、Android、iOS のプラットフォームで利用可能です。

特定の次元に対するテンソル FA カーネルを追加: DK=DV=512、DK=576/DV=512、および DK=192/DV=128。
新しいカーネルは attention sinks、ALiBi、logit softcap メカニズムをサポートします。
CPU、GPU (CUDA 12/13, Vulkan, ROCm 10.0)、および NPU (Snapdragon Hexagon) バックエンド用にビルド済みバイナリが提供されています。

このリリースにより、対応するハードウェア構成でより効率的なアテンション計算が可能になります。

重要度 1/3 信頼度 1/3 llama.cpp Hugging Face Inference efficiency

原文を読む

github llama.cpp · 2時間前 · 1 回表示

llama.cpp b11368 が単純ドラフトと MTP のための確率的サンプリングを追加

llama.cpp プロジェクトはビルド b11368 をリリースし、単純ドラフトおよび MTP（Multi-Token Prediction）ワークフローに確率的サンプリングを導入しました。この更新では、拒否サンプリングによってターゲットを検証しながら確率的選択を使用するようドラフティングメカニズムが変更されました。

github llama.cpp · 9時間前 · 4 回表示

llama.cpp b11351がggmlバックエンドバッファ型インターフェースにalloc_buffer_nおよびget_alloc_size_nを追加

llama.cppプロジェクトはビルドb11351をリリースし、ggmlバックエンドバッファ型インターフェースに新しいメソッドを導入しました。この更新により、バッファ割り当てとサイズ照会のより細かな制御が可能になる`alloc_buffer_n`および`get_alloc_size_n`が追加されました。

github llama.cpp · 1日前 · 1 回表示

llama.cpp b11338 が CPY および CONCAT の共有ストライド DMA コピーを追加

llama.cpp プロジェクトはビルド b11338 をリリースし、CPY および CONCAT 操作のための共有ストライド直接メモリアクセス (DMA) コピーメカニズムを導入しました。この更新により、Hexagon アーキテクチャ上で DMA を介した任意の次元の CONCAT が可能になります。

github llama.cpp · 1日前 · 2 回表示

llama.cpp b11335 が sm70 を Turing MMVQ テーブルにルーティングし、Volta のパフォーマンスを向上

llama.cpp プロジェクトはバージョン b11335 をリリースし、Volta GPU 用の CUDA 最適化が含まれています。この更新により、sm_70 アーキテクチャが汎用設定にフォールスルーするのではなく、既存の Turing MMVQ nwarps テーブルにルーティングされます。

github llama.cpp · 1日前 · 1 回表示

llama.cpp b11333 が MUL_MAT 操作の WebGPU bfloat16 サポートを追加

llama.cpp プロジェクトはビルド b11333 をリリースし、WebGPU バックエンド内の MUL_MAT、MUL_MAT_ID、および GET_ROWS 操作に対する bfloat16 サポートを導入しました。