github llama.cpp · たった今 · inference

llama.cpp b11298 が変換と特徴抽出のための dflash サポートを追加

翻訳元 English → 日本語

llama.cpp プロジェクトはビルド b11298 をリリースし、dflash フォーマットのサポートを導入しました。このアップデートにより、モデルをこのフォーマットに変換する機能と、その後の特徴抽出機能が有効になります。

モデル変換ツールが dflash 入力を処理するように更新されました。
dflash モデル向けの特徴抽出機能が利用可能になりました。
開発中に 'cont' コンポーネントに修正が適用されました。
CPU、GPU (CUDA, Vulkan, ROCm, OpenCL)、および NPU バックエンド向けの macOS、Linux、Windows、Android、openEuler 用のバイナリが提供されています。

このリリースにより、ユーザーは llama.cpp エコシステム内で dflash モデルを利用できるようになります。

重要度 1/3 信頼度 1/3 llama.cpp Inference efficiency Local inference

原文を読む

github llama.cpp · 7時間前 · 2 回表示

llama.cpp b11284 が量子化された重みビューの OpenVINO GET_ROWS を修正

llama.cpp プロジェクトはビルド b11284 をリリースしました。これには、量子化された重みビューに対する GET_ROWS 操作を正しく処理するための OpenVINO バックエンドの修正が含まれています。

github llama.cpp · 11時間前 · 2 回表示

llama.cppがk-poolとMTPの修正付きでGLM-5.3-Flashサポートを追加

llama.cppプロジェクトは、GLM-5.3-Flash (GLM5-Next) モデルアーキテクチャの初期サポートを追加しました。これには、ハイブリッドインデックスメモリへの移行と早期のMulti-Token Prediction (MTP) 機能が含まれます。

github llama.cpp · 13時間前 · 2 回表示

llama.cpp b11272 が Hexagon 連結演算を最適化

llama.cpp プロジェクトは、Hexagon バックエンドの最適化を含むビルド b11272 をリリースしました。主な変更点は、Qualcomm Snapdragon ハードウェアでのパフォーマンス向上のために連結演算を最適化することです。

github llama.cpp · 1日前 · 7 回表示

llama.cpp b11260 が FP32 GELU_ERF および GEGLU_ERF のサポートを追加

llama.cpp プロジェクトは、Hexagon バックエンドで FP32 GELU_ERF と GEGLU_ERF 活性化関数のサポートを導入するバージョン b11260 をリリースしました。このアップデートには、関連するカーネル内のレジスタ圧力を軽減する最適化も含まれています。

github llama.cpp · 1日前 · 1 回表示

llama.cpp b11258 は UI が提供されていない場合、組み込み UI service worker を削除

llama.cpp プロジェクトはビルド b11258 をリリースし、これは組み込み Web インターフェースの service worker の動作に関する修正を含んでいます。以前は、`--path` や `--no-ui` などのフラグを使用すると、サーバーが `/sw.js` に対して 404 を返すため、ブラウザがインターフェースのキャッシュされたバージョンを保持し続けました。これは service worker の削除を引き起こしません。