github llama.cpp · 12時間前 · inference

llama.cpp b11272 が Hexagon 連結演算を最適化

翻訳元 English → 日本語

llama.cpp プロジェクトは、Hexagon バックエンドの最適化を含むビルド b11272 をリリースしました。主な変更点は、Qualcomm Snapdragon ハードウェアでのパフォーマンス向上のために連結演算を最適化することです。

gather/transpose のホットループ内のパケット数を減らし、直接ターゲットバッファに収集し、gather 同期用の特殊命令を使用しました。
ソフトウェア除算呼び出しを fastdiv に置き換え、より高速な計算を実現しました。
DMA-HVX パイプラインを最適化し、Hexagon 連結演算用の転置ヘルパーを追加しました。

このアップデートにより、macOS、Linux、Windows、Android、openEuler の各プラットフォーム向けに、CPU、GPU、NPU の各種バックエンド用のバイナリが提供されます。

重要度 1/3 信頼度 1/3 llama.cpp Inference efficiency Local inference

原文を読む

github llama.cpp · 6時間前 · 2 回表示

llama.cpp b11284 が量子化された重みビューの OpenVINO GET_ROWS を修正

llama.cpp プロジェクトはビルド b11284 をリリースしました。これには、量子化された重みビューに対する GET_ROWS 操作を正しく処理するための OpenVINO バックエンドの修正が含まれています。

github llama.cpp · 9時間前 · 2 回表示

llama.cppがk-poolとMTPの修正付きでGLM-5.3-Flashサポートを追加

llama.cppプロジェクトは、GLM-5.3-Flash (GLM5-Next) モデルアーキテクチャの初期サポートを追加しました。これには、ハイブリッドインデックスメモリへの移行と早期のMulti-Token Prediction (MTP) 機能が含まれます。

github llama.cpp · 1日前 · 7 回表示

llama.cpp b11260 が FP32 GELU_ERF および GEGLU_ERF のサポートを追加

llama.cpp プロジェクトは、Hexagon バックエンドで FP32 GELU_ERF と GEGLU_ERF 活性化関数のサポートを導入するバージョン b11260 をリリースしました。このアップデートには、関連するカーネル内のレジスタ圧力を軽減する最適化も含まれています。

github llama.cpp · 1日前 · 1 回表示

llama.cpp b11258 は UI が提供されていない場合、組み込み UI service worker を削除

llama.cpp プロジェクトはビルド b11258 をリリースし、これは組み込み Web インターフェースの service worker の動作に関する修正を含んでいます。以前は、`--path` や `--no-ui` などのフラグを使用すると、サーバーが `/sw.js` に対して 404 を返すため、ブラウザがインターフェースのキャッシュされたバージョンを保持し続けました。これは service worker の削除を引き起こしません。

media Hugging Face Forums · 2日前 · 4 回表示

Krea 2 LoRA Studio が無料の Colab T4 でトレーニングを可能に

Jordan Epstein は、Krea 2 LoRA ワークフロー全体を無料の Google Colab T4 GPU で利用可能にするために設計されたプロジェクトである Krea 2 LoRA Studio をリリースしました。このツールは、キャッシュ準備、トレーニング、プレビュー生成を個別に管理する段階的なワークフローを実装することで、メモリ制約に対処します。