github llama.cpp · 1日前 · inference

llama.cpp b11260 が FP32 GELU_ERF および GEGLU_ERF のサポートを追加

翻訳元 English → 日本語

llama.cpp プロジェクトは、Hexagon バックエンドで FP32 GELU_ERF と GEGLU_ERF 活性化関数のサポートを導入するバージョン b11260 をリリースしました。このアップデートには、関連するカーネル内のレジスタ圧力を軽減する最適化も含まれています。

Hexagon 用の FP32 GELU_ERF および GEGLU_ERF サポートを追加。
hexagon カーネルのレジスタ圧力を低減。
macOS Apple Silicon、Intel、および iOS のバイナリが利用可能。
Linux ビルドは CPU、Vulkan、CUDA 12/13、ROCm 10.0、OpenVINO、SYCL、および Snapdragon プラットフォームをカバー。
Android arm64 ビルドには Snapdragon Hexagon NPU のサポートが含まれる。
Windows リリースでは CPU、OpenCL Adreno、CUDA 12/13、Vulkan、OpenVINO、SYCL、および ROCm 10.0 のオプションを提供。

このリリースは、特定の活性化関数のハードウェア互換性を拡張し、対応するアクセラレータの効率を向上させます。

重要度 1/3 信頼度 1/3 llama.cpp Inference efficiency Local inference

原文を読む

関連記事

github llama.cpp · たった今 · 1 回表示ライブ

llama.cpp b11298 が変換と特徴抽出のための dflash サポートを追加

llama.cpp プロジェクトはビルド b11298 をリリースし、dflash フォーマットのサポートを導入しました。このアップデートにより、モデルをこのフォーマットに変換する機能と、その後の特徴抽出機能が有効になります。

github llama.cpp · 7時間前 · 2 回表示

llama.cpp b11284 が量子化された重みビューの OpenVINO GET_ROWS を修正

llama.cpp プロジェクトはビルド b11284 をリリースしました。これには、量子化された重みビューに対する GET_ROWS 操作を正しく処理するための OpenVINO バックエンドの修正が含まれています。

github llama.cpp · 11時間前 · 2 回表示

llama.cppがk-poolとMTPの修正付きでGLM-5.3-Flashサポートを追加

llama.cppプロジェクトは、GLM-5.3-Flash (GLM5-Next) モデルアーキテクチャの初期サポートを追加しました。これには、ハイブリッドインデックスメモリへの移行と早期のMulti-Token Prediction (MTP) 機能が含まれます。

github llama.cpp · 13時間前 · 2 回表示

llama.cpp b11272 が Hexagon 連結演算を最適化

llama.cpp プロジェクトは、Hexagon バックエンドの最適化を含むビルド b11272 をリリースしました。主な変更点は、Qualcomm Snapdragon ハードウェアでのパフォーマンス向上のために連結演算を最適化することです。

github llama.cpp · 1日前 · 1 回表示

llama.cpp b11258 は UI が提供されていない場合、組み込み UI service worker を削除

llama.cpp プロジェクトはビルド b11258 をリリースし、これは組み込み Web インターフェースの service worker の動作に関する修正を含んでいます。以前は、`--path` や `--no-ui` などのフラグを使用すると、サーバーが `/sw.js` に対して 404 を返すため、ブラウザがインターフェースのキャッシュされたバージョンを保持し続けました。これは service worker の削除を引き起こしません。