github llama.cpp · 8時間前 · inference

llama.cpp b10760 が Qwen3-tts-0.6b の推論安定性を修正

翻訳元 English → 日本語

llama.cpp プロジェクトはビルド b10760 をリリースし、Qwen3-tts-0.6B モデルの数値不安定性を防ぐための特定の修正が含まれています。

mtmd ローダーは now qwen3-tts コード予測子の proj_in をオプションとして扱い、このテンソルを省略する参照実装と一致します。
コード予測子の ffn_down レイヤーは、その活性化が約 1.5e5 でピークに達し、F16 の上限を超えて NaN エラーを引き起こすため、F32 精度で保持されます。

これらの変更により、グラフが欠落した重みを正しく処理し、この特定のチェックポイントのハイアクティベーションレイヤーでのオーバーフローを防ぐことが保証されます。

重要度 1/3 信頼度 1/3 llama.cpp Inference efficiency Local inference

原文を読む

github llama.cpp · 1時間前 · 1 回表示ライブ

llama.cpp b10763 で preserve_reasoning がデフォルトで有効に

llama.cpp プロジェクトはビルド b10763 をリリースし、`preserve_reasoning` チャットテンプレートキーワード引数のデフォルト動作を変更しました。サーバーはこの kwarg の有効な状態をログに記録し、サポートされているテンプレートでデフォルトで有効になっている場合に警告を発します。

github llama.cpp · 23時間前 · 1 回表示

llama.cpp b10751がCUDA向けMoE加重エクスパート集約を融合

llama.cppプロジェクトはビルドb10751をリリースし、CUDAにおけるMoE（Mixture of Experts）の加重エクスパート集約用の融合カーネルを導入しました。この最適化は、2つの物理カーネルを実行していた以前のベースラインを置き換え、中間のグローバルメモリトラフィックを削減するために単一の加重集約カーネルを使用します。

github llama.cpp · 1日前 · 1 回表示

llama.cpp b10750がKVキャッシュのn-gramルックアップを最適化し、スループットを4.9%向上

llama.cppプロジェクトはビルドb10750をリリースし、シーケンス位置のインデックス付けとn-gram履歴のルックアップを改善するためにキーバリューセルの管理をリファクタリングしました。

github llama.cpp · 1日前 · 1 回表示

llama.cpp b10742 が A18 Pro 用の fa-vec 調整を追加

llama.cpp プロジェクトはバージョン b10742 をリリースしました。これには、MacBook Neo に搭載されている Apple A18 Pro チップ用に特別に高速ベクトル (fa-vec) 調整を追加する新機能が含まれています。

github llama.cpp · 1日前 · 1 回表示

llama.cpp b10739 が M2 Max 用の fa-vec 調整を追加

llama.cpp プロジェクトはバージョン b10739 をリリースしました。これには Apple の M2 Max ハードウェア向けの特定の性能最適化が含まれています。このアップデートでは、M2 Max の 30 個の GPU コアに合わせた高速注意ベクトル (fa-vec) 調整が導入されました。