github llama.cpp · 4日前 · inference

llama.cpp b11055 が Hexagon 用の GEGLU_QUICK サポートを追加

翻訳元 English → 日本語

llama.cpp プロジェクトはバージョン b11055 をリリースし、Hexagon DSP での GEGLU_QUICK 活性化関数のサポートを導入しました。

リリースには、macOS (Apple Silicon および Intel)、Linux (Ubuntu x64、arm64、s390x)、Windows、Android 用のバイナリが含まれています。
GPU アクセラレーションは、Linux では CUDA 12.8/13.3、ROCm 10.0、Vulkan、OpenVINO、SYCL を介してサポートされ、Windows では CUDA、OpenCL、Vulkan、OpenVINO、SYCL がサポートされます。
KleidiAI を搭載した macOS Apple Silicon ビルドは現在無効になっています。
openEuler のサポートもリストされていますが、一部の構成は無効としてマークされています。

このアップデートにより、ユーザーは Hexagon ベースのデバイス向けに広範なハードウェア互換性と最適化された推論機能を提供されます。

重要度 1/3 信頼度 1/3 llama.cpp Inference efficiency Local inference

原文を読む

github llama.cpp · たった今 · 1 回表示ライブ

llama.cpp b11122 が MMVQ GLU 融合を拡張し、新しい SYCL 融合を追加

llama.cpp プロジェクトはバージョン b11122 をリリースしました。これには SYCL バックエンドの重要な更新が含まれています。このリリースでは、MMVQ GLU 融合が混合量子化タイプをサポートするように拡張され、rms_norm+scale および ssm_conv+silu 演算のための新しい融合が導入されました。

github llama.cpp · 1時間前 · 11 回表示ライブ

llama.cpp b11120 は Vulkan の内部シンボルを隠蔽して状態の破損を修正

llama.cpp プロジェクトはバージョン b11120 をリリースし、Vulkan バックエンドの重大なバグを内部シンボルを隠蔽することで修正しました。この変更により、内部シンボルがエクスポートされた際に発生していた重複した dlopen による状態破損の問題を防ぎます。

github llama.cpp · 6時間前 · 13 回表示

llama.cpp b11118がHVX FAマスク処理のためのダイレクトマップDMAキャッシュを導入

llama.cppプロジェクトは、新しいhex-dma機能を含むビルドb11118をリリースしました。この機能は、Hexagon Vector eXtended (HVX) FAマスク処理により適したダイレクトマップDMAキャッシュを導入しています。

github llama.cpp · 17時間前 · 9 回表示

llama.cppがHunyuanOCRのDFlashサポートを追加し、ドラフト変換を修正

llama.cppプロジェクトは、ターゲットグラフ内のレイヤー入力テンソルを公開することで、HunyuanOCRモデルとのDFlash推測デコーディングのサポートを追加しました。この変更により、ドラフトモデルが残差ストリームを読み取れるようになり、非推測実行と比較して約0.5のドラフト受容率とバイトレベルで同一のOCR出力を得ながら、画像リクエストを正常に実行できるようになりました。

github llama.cpp · 18時間前 · 13 回表示

llama.cpp b11104 で llama-server を複数のアドレスにバインドするサポートが追加

llama.cpp プロジェクトはバージョン b11104 をリリースし、llama-server コンポーネントが同時に複数のネットワークアドレスにバインドできる新機能をもたらしました。