github llama.cpp · 1時間前 · inference

llama.cpp b10429 で llama_decode() 中に /metrics および /slots にアクセス可能に

翻訳元 English → 日本語

llama.cpp プロジェクトはバージョン b10429 をリリースし、llama_decode() の実行中に /metrics および /slots エンドポイントへのアクセスを許可するようにサーバーを変更しました。

この変更により、server_queue::worker が yield_to_queue 内で llama_decode を呼び出すように更新されました。
また、この操作中に process_mtmd_chunk も処理されます。
バイナリは macOS (Apple Silicon および Intel)、Linux (CPU、Vulkan、OpenVINO、SYCL)、Android、Windows (CPU、CUDA 12/13、Vulkan、OpenVINO、SYCL、ROCm)、openEuler で利用可能です。

このアップデートにより、モデル推論中にエンドポイントがブロックされるのを防ぎ、サーバーの応答性が向上します。

重要度 1/3 信頼度 1/3 llama.cpp Inference efficiency

原文を読む

github llama.cpp · 1時間前ライブ

llama.cpp b10430 で仮想 igpu デバイスが利用可能に

llama.cpp プロジェクトはバージョン b10430 をリリースし、仮想統合 GPU (igpu) デバイスのサポートを導入しました。このアップデートには、コードベース内の改善されたコメントも含まれています。

github llama.cpp · 6時間前

llama.cpp b10427 が SYCL FFN 演算を融合し、スループットが最大 12.4%向上

llama.cpp プロジェクトはバージョン b10427 をリリースしました。これには SYCL を介した Intel Arc GPU 向けの性能最適化が含まれています。このアップデートでは、q4_K 密なフィードフォワードネットワーク (FFN) レヤー内で gate、up、GLU 演算の融合が実装されました。

github llama.cpp · 8時間前 · 1 回表示

llama.cpp b10425 が gated-delta-net 状態書き戻しを融合し、速度が+1.2%向上

llama.cpp プロジェクトはバージョン b10425 をリリースしました。これには、gated-delta-net 状態書き戻しコピーを融合するための SYCL 最適化のポートが含まれています。

arxiv arXiv cs.CL · 11時間前

行列積の削減: LLM推論のための入力適応型行列積削減手法

研究者らは、学習不要で入力が適応する推論手法であるReduced Matrix Multiplication (RMM)を提案した。これは、モデルの重みを変更せずに収縮次元に沿って情報的なスライスを選択することで、Transformerの行列積を削減する。単純な保持率制御の下、RMMは1Bから70Bパラメータの言語モデル全体で、精度と効率の滑らかで予測可能なトレードオフを提供する。

github llama.cpp · 16時間前

llama.cpp b10418 が SYCL のホストピンドメモリサポートを追加

llama.cpp プロジェクトはバージョン b10418 をリリースし、SYCL のホストからデバイスへのメモリアクセスを改善するためにホストピンドメモリのサポートを導入しました。このアップデートはバックエンド実装内のスレッドセーフティの問題に対処します。