github llama.cpp · 9時間前 · inference

llama.cpp b10649 がベンチマーク専用の合成推測受容を追加

翻訳元 English → 日本語

llama.cpp プロジェクトはビルド b10649 をリリースし、合成推測受容の新しい機能を導入しました。この追加はベンチマーキング目的のために特別に設計されており、llama-server と llama-cli の両方のコンポーネントで利用可能です。

llama-server と llama-cli にベンチマーク専用の合成推測受容を追加。
CPU、GPU、および各種アクセラレータバックエンドに対応する macOS、iOS、Linux、Windows、Android、openEuler のバイナリを含みます。
このビルドでは macOS Apple Silicon での KleidiAI サポートを無効化しました。

このリリースは幅広いプラットフォーム向けの更新されたバイナリを提供し、推測デコーディングのパフォーマンスを評価するための特定のツールを追加しています。

重要度 1/3 信頼度 1/3 llama.cpp Inference efficiency

原文を読む

github llama.cpp · たった今 · 1 回表示ライブ

llama.cpp b10662 が unified KV キャッシュ用に ctx-per-slot を追加

llama.cpp プロジェクトはビルド b10662 をリリースし、unified KV キャッシュに対してスロットごとのコンテキストを指定できるようにする新しい `--kv-unified-per-slot` 引数を導入しました。この変更は、以前のコンテキスト比率メカニズムをコンテキストプールスロットに置き換え、基盤の実装をリファクタリングします。

github llama.cpp · 1時間前 · 1 回表示ライブ

llama.cpp が Qwen3.8-Flash-Next (qwen4exp) アーキテクチャのサポートを追加

llama.cpp プロジェクトは、Qwen3.8-Flash-Next (qwen4exp) モデルアーキテクチャのサポートを追加し、ハイパー接続、ゲート付きデルタネット、Experts of Mixture、PLE n-gram ハッシュ埋め込みなどの特定のコンポーネントを実装しました。

github llama.cpp · 2時間前 · 1 回表示

llama.cpp b10658 が DFlash2 サポートを追加し、mrope のバグを修正

llama.cpp プロジェクトはビルド b10658 をリリースし、ローカル畳み込みと候補セレクタを含む DFlash2 仕様のサポートを導入しました。このアップデートでは、コードベース内の特定の mrope バグも修正されています。

github llama.cpp · 2時間前 · 1 回表示

llama.cppがWindows ROCmリリースにHIPランタイムDLLをバンドル

llama.cppプロジェクトは、Windows ROCmリリースを更新し、必要なHIPランタイムDLLをバイナリと共に直接バンドルしました。この変更は問題#26929に対処し、System32内のドライバーのコピーと競合する可能性のあるものではなく、正しいHIPランタイムがロードされることを保証します。

github llama.cpp · 3時間前 · 1 回表示

llama.cpp b10656 が RAM に大きなテンソルをロードしないよう作業メモリを制限

llama.cpp プロジェクトは、作業メモリのサイズを制限する変更を含むビルド b10656 をリリースしました。この修正は、大きなテンソルがシステム RAM にロードされるのを防ぐために設計されています。