github llama.cpp · たった今 · inference

llama.cpp b10435 が jinja gather_string_parts の二次コストを修正

翻訳元 English → 日本語

llama.cpp プロジェクトは、Jinja テンプレートエンジン内のパフォーマンス問題を解決するバージョン b10435 をリリースしました。主な変更点は、`gather_string_parts` 関数の二次時間計算量のバグを修正することです。

`gather_string_parts` の二次コストを修正
コメントを更新し、古いテストを削除
macOS (Apple Silicon および Intel)、iOS、Linux (CPU、Vulkan、OpenVINO、SYCL)、Android、Windows (CPU、CUDA 12/13、Vulkan、OpenVINO、SYCL、ROCm)、openEuler 用のバイナリを提供

このリリースにより、テンプレートレンダリングでの文字列処理がより効率的になり、幅広いハードウェアアーキテクチャとオペレーティングシステムで更新されたバイナリが提供されます。

重要度 1/3 信頼度 1/3 llama.cpp Inference efficiency

原文を読む

github llama.cpp · 4時間前

llama.cpp b10434 が reasoning_effort をテンプレートに渡す

llama.cpp プロジェクトはビルド b10434 をリリースし、`reasoning_effort` パラメータを Jinja テンプレートに渡すサポートを追加しました。この変更により、OpenAI Chat Completions の `reasoning_effort` 値が保存され、生成中に利用可能になります。

lab NVIDIA Research · 5時間前 · 2 回表示

Nvidia、ハイブリッドドメイン知識融合によるリアルタイムポートレート再照明手法「FusionRelight」を発表

Nvidiaの研究者らは、物理的に妥当な照明転送とアイデンティティの保持、コンパクトなリアルタイム推論を組み合わせるポートレート再照明手法であるFusionRelightを導入した。このアプローチは、合成データ、One-Light-at-a-Time (OLAT)、および野外データから物理学、反射率、リアリティの事前知識を学生モデルに蒸留するトレーニングフレームワークであるハイブリッドドメイン知識融合（HDKF）を利用している。

github llama.cpp · 5時間前 · 1 回表示

llama.cpp b10431 が SSM モデルの再帰的状態ロールバックを追加

llama.cpp プロジェクトはバージョン b10431 をリリースし、ggml_ssm_scan 操作で再帰的状態 (RS) ロールバックのサポートを導入しました。この変更により、CPU および CUDA バックエンドで Nemotron モデルの RS ロールバックが可能になります。

media r/LocalLLaMA · 8時間前 · 2 回表示

QwenがQwen 3.8 27Bのオープンウェイトをリリース

Qwenは、そのQwen 3.8 27Bモデルのオープンウェイトをリリースしました。チェックポイントはHugging Faceで利用可能です。

github llama.cpp · 10時間前 · 1 回表示

llama.cpp b10429 で llama_decode() 中に /metrics および /slots にアクセス可能に

llama.cpp プロジェクトはバージョン b10429 をリリースし、llama_decode() の実行中に /metrics および /slots エンドポイントへのアクセスを許可するようにサーバーを変更しました。