github llama.cpp · 1時間前 · inference

llama.cpp b10182 が suppress_tokens の処理を common/sampling に移動

翻訳元 English → 日本語

llama.cpp プロジェクトはビルド b10182 をリリースしました。これにはトークン抑制の管理方法に関する構造的な変更が含まれています。主な変更点は、`suppress_tokens` の処理ロジックを `common/sampling` モジュールに移動することです。

コードベースから `has_logit_bias` 機能が削除されました。
このリリースは、以前の機能に関連するセキュリティ問題に対処しています。
macOS (Apple Silicon および Intel)、iOS、Linux (CPU、Vulkan、ROCm、OpenVINO、SYCL)、Android、Windows (CPU、CUDA 12/13、Vulkan、OpenCL、ROCm、OpenVINO、SYCL、HIP)、および openEuler 用のバイナリが提供されています。

この更新はサンプリングロジックを統合し、トークン抑制メカニズム内の特定の問題を解決します。

重要度 1/3 信頼度 1/3 llama.cpp Inference efficiency

原文を読む

github llama.cpp · 3時間前 · 1 回表示

llama.cpp b10180 が SYCL ユーニオペレーションの連続高速パスと32ビットインデックス数学を追加

llama.cpp プロジェクトはビルド b10180 をリリースし、SYCL バックエンドのパフォーマンス最適化を導入しました。この更新では、連続した高速パスが実装され、要素ごとのインデックス計算が 32 ビット整数を使用した fastdiv に切り替えられました。

github llama.cpp · 3時間前 · 1 回表示

llama.cpp b10181で、共有メモリが48 KiB未満のデバイスでMMQが無効化される

llama.cppプロジェクトはビルドb10181をリリースしました。このビルドには、ggml-cudaにおける修正が含まれており、ブロックごとの共有メモリが48 KiB未満のGPUで行列乗算量子化（MMQ）を無効にします。

media Hugging Face Forums · 4時間前

Jason Van PhamがGemma 4の文字レベル制約下でのマルチターン貪欲デジェネレーションを文書化

Jason Van Phamと共開発者のGrok (xAI)は、カスタムGemma 4インストラクションパスを使用する際にHydrodynamic Swarmハーネスで発生するほぼバニラなマルチターンの失敗モードについて詳述した診断レポートを発表しました。この研究では、貪欲デコーディングに長いトークン予算と文字レベルの制約を組み合わせると、反復や正書法のごちゃ混ぜなど、古典的なテキストの劣化（デジェネレーション）が引き起こされることが特定されました。

media Hugging Face Forums · 5時間前

Hugging Faceがgenerate()での誤った出力を防ぐためDynamicCacheを修正

Hugging Faceの`generate()`関数にはバグがあり、`past_key_values`が外部で作成された`DynamicCache`の場合に誤った出力が生じます。この問題は、プレフィルデータからキャッシュを再構築するSnapKV、H2O、KIVIなどのKVキャッシュ圧縮方法に影響します。根本原因は位置コンテキストの伝播に失敗し、Qwen3-VL-8Bで10.7ppの精度低下を引き起こしていることです。

github llama.cpp · 6時間前 · 1 回表示

llama.cpp b10178 がスロット類似性チェックのトレースログを追加

llama.cpp プロジェクトはビルド b10178 をリリースし、サーバーコンポーネント内のスロット類似性チェックのためのトレースログを導入しました。このアップデートは、プロンプトキャッシュスロット選択中に `server-context.cpp` で詳細なログを追加し、スキップ理由と類似性計算の詳細を具体的にキャプチャします。