github llama.cpp · 1時間前 · inference

llama.cpp b10763 で preserve_reasoning がデフォルトで有効に

翻訳元 English → 日本語

llama.cpp プロジェクトはビルド b10763 をリリースし、`preserve_reasoning` チャットテンプレートキーワード引数のデフォルト動作を変更しました。サーバーはこの kwarg の有効な状態をログに記録し、サポートされているテンプレートでデフォルトで有効になっている場合に警告を発します。

このオプションを設定するための `--chat-template-kwargs` メソッドは、`--reasoning-preserve` や `--no-reasoning-preserve` などの明示的なフラグに取って代わられ、非推奨となりました。
macOS (Apple Silicon および Intel)、iOS、Linux (CPU、Vulkan、ROCm 7.14、OpenVINO、SYCL)、Android、Windows (CPU、CUDA 12/13、Vulkan、OpenVINO、SYCL、ROCm 7.14)、openEuler のためのビルド済みバイナリが利用可能です。
リリースには、すべてのサポート対象プラットフォーム用の UI バイナリが含まれています。

重要度 1/3 信頼度 1/3 llama.cpp Inference efficiency Local inference

原文を読む

github llama.cpp · 8時間前 · 1 回表示

llama.cpp b10760 が Qwen3-tts-0.6b の推論安定性を修正

llama.cpp プロジェクトはビルド b10760 をリリースし、Qwen3-tts-0.6B モデルの数値不安定性を防ぐための特定の修正が含まれています。

github llama.cpp · 23時間前 · 1 回表示

llama.cpp b10751がCUDA向けMoE加重エクスパート集約を融合

llama.cppプロジェクトはビルドb10751をリリースし、CUDAにおけるMoE（Mixture of Experts）の加重エクスパート集約用の融合カーネルを導入しました。この最適化は、2つの物理カーネルを実行していた以前のベースラインを置き換え、中間のグローバルメモリトラフィックを削減するために単一の加重集約カーネルを使用します。

github llama.cpp · 1日前 · 1 回表示

llama.cpp b10750がKVキャッシュのn-gramルックアップを最適化し、スループットを4.9%向上

llama.cppプロジェクトはビルドb10750をリリースし、シーケンス位置のインデックス付けとn-gram履歴のルックアップを改善するためにキーバリューセルの管理をリファクタリングしました。

github llama.cpp · 1日前 · 1 回表示

llama.cpp b10742 が A18 Pro 用の fa-vec 調整を追加

llama.cpp プロジェクトはバージョン b10742 をリリースしました。これには、MacBook Neo に搭載されている Apple A18 Pro チップ用に特別に高速ベクトル (fa-vec) 調整を追加する新機能が含まれています。

github llama.cpp · 1日前 · 1 回表示

llama.cpp b10739 が M2 Max 用の fa-vec 調整を追加

llama.cpp プロジェクトはバージョン b10739 をリリースしました。これには Apple の M2 Max ハードウェア向けの特定の性能最適化が含まれています。このアップデートでは、M2 Max の 30 個の GPU コアに合わせた高速注意ベクトル (fa-vec) 調整が導入されました。