github llama.cpp · 20時間前 · inference

llama.cpp b10701 が DFlash2 NVFP4 の推論デコーディングを修正

翻訳元 English → 日本語

llama.cpp プロジェクトはビルド b10701 をリリースし、DFlash2 NVFP4 ドラフトモデルの修正が含まれています。このアップデートは、これらのモデルがほとんど承認された推論トークンを生成しない問題を解決します。

プルリクエスト #28000 で、注意演算に欠落していた NVFP4 スケールを渡します。
Q、K、V、および出力射影のスケールが対応するグラフ演算に正しく渡されることを保証します。

この変更により、推論デコーディングに必要なスケール伝播が修正され、DFlash2 NVFP4 モデルの適切な機能が回復しました。

重要度 1/3 信頼度 1/3 llama.cpp Inference efficiency

原文を読む

github llama.cpp · たった今 · 1 回表示ライブ

llama.cpp b10721 が WebGPU のクラッシュを修正し、Windows での CUDA 13.4 サポートを追加

llama.cpp プロジェクトはビルド b10721 をリリースしました。これには WebGPU バックエンドの重要な修正と、Windows 上のハードウェアサポートの拡張が含まれています。

github llama.cpp · 2時間前

llama.cpp b10718 が specdec およびマルチトークン向けに MOE 融合を拡張

llama.cpp プロジェクトはバージョン b10718 をリリースし、CUDA バックエンドの重要なアップデートが含まれています。最も注目すべき変更は、Mixture of Experts (MOE) 融合をスペキュレイティブデコーディング（specdec）のサポートに拡張し、以前 MOE glu 融合と topk-router 融合が一度に1つのトークンの処理のみ制限されていたという制限に対処したことです。

github llama.cpp · 4時間前 · 3 回表示

llama.cpp b10717 リリースで SYCL メモリ情報取得が強化

llama.cpp プロジェクトはバージョン b10717 をリリースしました。これには Intel GPU 用の SYCL バックエンドの特定の強化が含まれています。このアップデートは、L0 SYCL API を活用して空きメモリ情報を取得する能力を向上させます。

github llama.cpp · 5時間前 · 1 回表示

llama.cpp b10715 が DFlash エンコーダを KV キャッシュ注入に融合

llama.cpp プロジェクトはビルド b10715 をリリースしました。これには DFlash 実装に対する重要な最適化が含まれています。DFlash エンコーダは、デコーディング中に KV キャッシュ注入プロセスに直接融合されるようになりました。

media r/LocalLLaMA · 6時間前 · 3 回表示

pipecat-ai、GPT 5.6 Terra パフォーマンスを持つ phonellm-alpha-1 をリリース

pipecat-ai プロジェクトは、典型的な音声エージェントタスクで GPT 5.6 に匹敵するパフォーマンスを達成する phonellm-alpha-1 モデルをリリースしました。