github llama.cpp · たった今 · inference

llama.cpp b11338 が CPY および CONCAT の共有ストライド DMA コピーを追加

翻訳元 English → 日本語

llama.cpp プロジェクトはビルド b11338 をリリースし、CPY および CONCAT 操作のための共有ストライド直接メモリアクセス (DMA) コピーメカニズムを導入しました。この更新により、Hexagon アーキテクチャ上で DMA を介した任意の次元の CONCAT が可能になります。

CPY および CONCAT 操作の共有ストライド DMA コピーを実装。
DMA を介した任意の次元の CONCAT を有効化。
64ビット DMA と互換性のない壊れた CONCAT_DMA_MIN_ROW ロジックを削除。
欠落していた dma_queue_flush() 呼び出しおよびサポートされていない条件に対する追加のガードを追加。

このリリースでは、CPU、GPU、NPU バックエンド向けに macOS、Linux、Windows、Android、openEuler のバイナリを提供しています。

重要度 1/3 信頼度 1/3 llama.cpp Hugging Face Inference efficiency

原文を読む

github llama.cpp · 2時間前 · 1 回表示

llama.cpp b11335 が sm70 を Turing MMVQ テーブルにルーティングし、Volta のパフォーマンスを向上

llama.cpp プロジェクトはバージョン b11335 をリリースし、Volta GPU 用の CUDA 最適化が含まれています。この更新により、sm_70 アーキテクチャが汎用設定にフォールスルーするのではなく、既存の Turing MMVQ nwarps テーブルにルーティングされます。

github llama.cpp · 3時間前 · 1 回表示

llama.cpp b11333 が MUL_MAT 操作の WebGPU bfloat16 サポートを追加

llama.cpp プロジェクトはビルド b11333 をリリースし、WebGPU バックエンド内の MUL_MAT、MUL_MAT_ID、および GET_ROWS 操作に対する bfloat16 サポートを導入しました。

github llama.cpp · 1日前 · 5 回表示

llama.cpp b11309 が安全なscatterモードでHexagon ALLREDUCEを最適化

llama.cppプロジェクトは、Hexagonバックエンドの重要な最適化を含むバージョンb11309をリリースしました。このアップデートは、ALLREDUCE操作に安全なscatterモードのサポートを追加し、Qualcomm Snapdragonデバイスでのパフォーマンスと安定性の向上を目指しています。

github llama.cpp · 2日前 · 9 回表示

llama.cppがk-poolとMTPの修正付きでGLM-5.3-Flashサポートを追加

llama.cppプロジェクトは、GLM-5.3-Flash (GLM5-Next) モデルアーキテクチャの初期サポートを追加しました。これには、ハイブリッドインデックスメモリへの移行と早期のMulti-Token Prediction (MTP) 機能が含まれます。

github llama.cpp · 2日前 · 5 回表示

llama.cpp b11266はIntelのVulkan向けにF32 A行列を一度に2つ読み込む

llama.cppプロジェクトは、Vulkanの最適化を含むビルドb11266をリリースしました。この最適化では、2アラインメントされたF32 A行列を一度に2要素ずつ読み込みます。この変更は、浮動小数点数を一つずつ読み込むのが非効率なIntelハードウェアでのパフォーマンス問題を解決し、元のパッチで`a_offset`の整列に関する検証が欠落していた点も修正します。