github llama.cpp · 1時間前 · inference

llama.cpp b10311 が Qwen3-TTS テキストストリームの重複を修正

翻訳元 English → 日本語

llama.cpp プロジェクトは、Qwen3-TTS パイプラインの修正を含むビルド b10311 をリリースしました。このアップデートは、モデルが生成中に入力発話を2回読み取る問題を解決します。

Qwen3-TTS 生成中にテキストストリームが再度フィードされる原因となっていた、非ストリーミングプリフェッチオーバーレイのバグを修正します。
末尾のテキストの隠れ状態を単一の tts_pad 行に折りたたみ、プリフェッチレイアウトと一致させます。
macOS (Apple Silicon および Intel)、iOS、Linux (CPU、Vulkan、ROCm、OpenVINO、SYCL)、Android、Windows (CPU、CUDA 12/13、Vulkan、OpenCL、ROCm、SYCL)、および openEuler 用のバイナリを提供します。

重要度 1/3 信頼度 1/3 llama.cpp Inference efficiency

llama.cpp b10313 がサーバーに LRU スケジューラーを追加

llama.cpp プロジェクトはバージョン b10313 をリリースし、サーバーコンポーネントに Least Recently Used (LRU) スケジューラーを導入しました。このアップデートには、リクエストの結合処理とストリーミングケースの修正が含まれます。

github llama.cpp · 1時間前ライブ

llama.cpp b10312 リリース：繁忙なモデル向けのサーバー修正を含む

llama.cpp プロジェクトは、サーバーコンポーネントへの特定の変更を含むバージョン b10312 をリリースしました。主な変更点は、繁忙なモデルがルーターから削除される問題を解決することです。

github llama.cpp · 4時間前

llama.cpp b10307 が SYCL NVFP4 パースを修正

llama.cpp プロジェクトはバージョン b10307 をリリースしました。これには、NVFP4 量子化で使用される UE4M3 スケーリング係数を正しくパースするための SYCL GPU コードの修正が含まれています。

github llama.cpp · 5時間前

llama.cpp b10305 が DSv4 OPs に対する SYCL サポートを追加

llama.cpp プロジェクトはビルド b10305 をリリースし、SYCL バックエンド内で特定の DSv4 演算のサポートを導入しました。このアップデートには、LIGHTNING_INDEXER、DSV4_HC_COMB、DSV4_HC_POST、および DSV4_HC_PRE オペレータの実装が含まれます。

github llama.cpp · 5時間前

llama.cpp b10306がSYCL GLUフラットパスを追加し、カーネルを統合

llama.cpp b10306リリースは、SYCLバックエンドのパフォーマンス最適化を導入し、特にゲートド・リニアユニット（GLU）演算を対象としています。この更新では、融合されたGLU演算用の連続した高速パスが追加され、以前は別々だったカーネルが共通のランチャーを共有するように統合されました。