github llama.cpp · たった今 · inference

llama.cpp b10414がTQ2_0サポートを追加しmul_mvカーネルを最適化

翻訳元 English → 日本語

llama.cppプロジェクトはビルドb10414をリリースし、MetalバックエンドにGGML_TYPE_TQ2_0三元量子化タイプをサポートしました。このアップデートには、連続テンソル(cont)のmul_mvカーネルの最適化も含まれています。

MetalバックエンドにGGML_TYPE_TQ2_0（三元、要素あたり2ビット）サポートを追加。
整数演算から浮動小数点演算に切り替えることでmul_mvカーネルを最適化。
事前計算された和、持ち上げられた係数、連続yロードを通じてパフォーマンスを向上。

このリリースでは、CPU、CUDA、Vulkan、ROCm、SYCLを含むさまざまなハードウェアバックエンド向けに、macOS、Linux、Windows、Android、openEuler用の更新されたバイナリが提供されています。

重要度 1/3 信頼度 1/3 llama.cpp Inference efficiency Local inference

原文を読む

関連記事

github llama.cpp · 3日前 · 1 回表示

llama.cpp b10354 が Android での CPU アフィニティマスクの修正を提供

llama.cpp プロジェクトはバージョン b10354 をリリースしました。これには、Android デバイスで無視されていた CPU アフィニティマスクの問題に対する修正が含まれています。

github llama.cpp · 3日前 · 2 回表示

llama.cpp b10344がNemotronモデルのMTPサポートを追加

llama.cppプロジェクトはビルドb10344をリリースし、NemotronおよびNemotron Nanoモデル用にMulti-Token Prediction (MTP)サポートを導入しました。

github llama.cpp · 3日前 · 1 回表示

llama.cppがGranite-Switchアーキテクチャを追加、トークンごとのLoRA選択にグラフ内ルーターを採用

llama.cppプロジェクトは、制御トークンによってトークンごとに選択されるN個の埋め込みLoRAアダプターを備えた密接モデルバリアントであるGranite-Switchアーキテクチャのサポートを導入しました。この実装は、アダプターインデックスを解決するために、以前の概念実証用のグローバルスティッキーインデックスをグラフ内因果「ルーター」アテンションメカニズムに置き換えました。

github llama.cpp · 3日前

ggml-webgpu リファクタリングを含む llama.cpp b10336 リリース

llama.cpp プロジェクトはバージョン b10336 をリリースしました。これには、ggml-webgpu コンポーネント内の複数の wgsl ファイルのリファクタリングと flash_attn wgsl の簡素化が含まれています。

media Hugging Face Forums · 5日前 · 9 回表示

vLLM Launcher がローカル LLM 推論用の Windows デスクトップワークベンチを提供

WSL2 を介してローカル大規模言語モデルの推論を管理するために設計された、vLLM Launcher という新しいプロジェクトが Windows デスクトップアプリケーションとしてリリースされました。このツールを使用すると、vLLM、SGLang、llama.cpp を含む複数のエンジンバックエンドを単一のグラフィカルインターフェースから制御できます。