github llama.cpp · 1日前 · inference

llama.cpp b10693 で Hexagon NPU デバイスの検出とオンデマンドセッションサポートが追加

翻訳元 English → 日本語

llama.cpp プロジェクトはビルド b10693 をリリースし、Qualcomm Hexagon NPU のサポートを導入しました。このアップデートにより、利用可能な NPU コアの実行時検出が可能になり、オンデマンドで推論セッションの作成が許可されます。

Hexagon デバイスの遅延セッション割り当ておよびクリーンアップインターフェースを追加。
利用可能な NPU コアの実行時検出を実装。
初期化中に存在しないデバイスを早期に拒否するように構成。
CPU、Vulkan、ROCm、OpenVINO、SYCL、CUDA バックエンド向けに、macOS、Linux、Windows、Android、openEuler のバイナリを提供。

重要度 1/3 信頼度 1/3 llama.cpp Inference efficiency

原文を読む

github llama.cpp · たった今 · 1 回表示ライブ

llama.cpp b10721 が WebGPU のクラッシュを修正し、Windows での CUDA 13.4 サポートを追加

llama.cpp プロジェクトはビルド b10721 をリリースしました。これには WebGPU バックエンドの重要な修正と、Windows 上のハードウェアサポートの拡張が含まれています。

github llama.cpp · 2時間前

llama.cpp b10718 が specdec およびマルチトークン向けに MOE 融合を拡張

llama.cpp プロジェクトはバージョン b10718 をリリースし、CUDA バックエンドの重要なアップデートが含まれています。最も注目すべき変更は、Mixture of Experts (MOE) 融合をスペキュレイティブデコーディング（specdec）のサポートに拡張し、以前 MOE glu 融合と topk-router 融合が一度に1つのトークンの処理のみ制限されていたという制限に対処したことです。

github llama.cpp · 4時間前 · 3 回表示

llama.cpp b10717 リリースで SYCL メモリ情報取得が強化

llama.cpp プロジェクトはバージョン b10717 をリリースしました。これには Intel GPU 用の SYCL バックエンドの特定の強化が含まれています。このアップデートは、L0 SYCL API を活用して空きメモリ情報を取得する能力を向上させます。

github llama.cpp · 5時間前 · 1 回表示

llama.cpp b10715 が DFlash エンコーダを KV キャッシュ注入に融合

llama.cpp プロジェクトはビルド b10715 をリリースしました。これには DFlash 実装に対する重要な最適化が含まれています。DFlash エンコーダは、デコーディング中に KV キャッシュ注入プロセスに直接融合されるようになりました。

media r/LocalLLaMA · 6時間前 · 3 回表示

pipecat-ai、GPT 5.6 Terra パフォーマンスを持つ phonellm-alpha-1 をリリース

pipecat-ai プロジェクトは、典型的な音声エージェントタスクで GPT 5.6 に匹敵するパフォーマンスを達成する phonellm-alpha-1 モデルをリリースしました。