github llama.cpp · 1時間前 · inference

llama.cpp b10178 がスロット類似性チェックのトレースログを追加

翻訳元 English → 日本語

llama.cpp プロジェクトはビルド b10178 をリリースし、サーバーコンポーネント内のスロット類似性チェックのためのトレースログを導入しました。このアップデートは、プロンプトキャッシュスロット選択中に `server-context.cpp` で詳細なログを追加し、スキップ理由と類似性計算の詳細を具体的にキャプチャします。

リリースでは、macOS (Apple Silicon および Intel)、iOS、Linux (CPU、Vulkan、ROCm、OpenVINO、SYCL バックエンド付き Ubuntu)、Android、Windows (CPU、CUDA 12/13、Vulkan、OpenCL、OpenVINO、SYCL、HIP)、および openEuler のバイナリが提供されています。このビルドでは、macOS Apple Silicon 用の KleidiAI サポートが無効になっています。

重要度 1/3 信頼度 1/3 llama.cpp Inference efficiency

原文を読む

関連記事

github llama.cpp · 5時間前 · 1 回表示

llama.cpp b10174 が GLM-5.2 の NextN/MTP 推測デコーディングサポートを追加

llama.cpp プロジェクトは、GLM_DSA (GLM-5.2) モデルアーキテクチャ向けの NextN/MTP 推測デコーディングサポートを導入するビルド b10174 をリリースしました。

media Together AI Blog · 16時間前

Together AI が専用モデル推論向けの容量認識ルーティングを解説

Together AI は、エンドポイント、デプロイメント、不変設定を容量認識のトラフィック分割で結びつける Dedicated Model Inference プラットフォームのアーキテクチャについて詳述している。このシステムは、固定パーセンテージではなく有効容量（重み×準備完了レプリカ数）に基づいてリクエストをルーティングし、ゼロダウンタイムでのロールアウトや A/B テストなどの機能を実現する。

media Hugging Face Forums · 17時間前

注意重み付きメモリグラフは graph-RAG トラバーサルに Jina 注意を使用

新しい提案は、ステップバイステップのトラバーサルを可能にするために、後期チャンキングと注意重み付きエッジを組み合わせた LLM メモリ構造を概説しています。このシステムは、文間の注意を計算する Jina AI の埋め込みモデルを活用し、ドキュメントの内部処理からエッジの重みを導出します。

github llama.cpp · 17時間前

llama.cpp b10171がAdreno OpenCLのマルチストリームによるゴミ出力を修正

llama.cpp b10171リリースは、マルチシーケンスバッチ処理中にゴミ出力を引き起こしていたAdreno KQ/KQVイメージカーネルの重大なバグに対処します。この問題は、これらのカーネルが次元3を無視し、複数のストリームで統一KVキャッシュを使用する際に誤った読み取りが行われたために発生しました。

media r/LocalLLaMA · 18時間前

Microsoft、コーデックネイティブのストリーミングマルチモーダルモデル「Mage-VL」をリリース

Microsoftは、画像および動画の理解のために設計された効率的な4Bパラメータのマルチモーダル基盤モデル「Mage-VL」をリリースした。このモデルは視覚処理を効率化するためにコーデックネイティブのアプローチを採用している。システムは動画ストリームをアンカー（I）フレームと予測（P）フレームに分離し、コーデックがビットを割り当てるパッチのみを保持することで、視覚トークンの消費量を75%以上削減する。