github llama.cpp · 1時間前 · inference

llama.cpp b10472 は HIP ビルドの UMA オーバーライドをスキップ

翻訳元 English → 日本語

llama.cpp プロジェクトはビルド b10472 をリリースし、HIP ビルドに対する統一メモリアーキテクチャ (UMA) のオーバーライドをスキップする修正が含まれています。この変更は、AMD アクセラレーテッドプロセッシングユニット (APU) が hipMemGetInfo 経由で不正確なメモリ情報を報告していた問題を解決します。

この更新により、GitHub イシュー #18159 が解決され、小さなカーブアウトを持つシステムで MemAvailable が過剰に約束するのを防ぎます。
KleidiAI を搭載した macOS Apple Silicon ビルドは、このリリースで無効になっています。
Ubuntu ROCm 7.14 のサポートも無効になっています。
CPU、CUDA、Vulkan、OpenVINO、SYCL、その他のバックエンド向けに、Linux、Windows、Android、macOS 用のバイナリが提供されています。

重要度 1/3 信頼度 1/3 llama.cpp Inference efficiency

原文を読む

media Hugging Face Forums · 11時間前 · 2 回表示

SpiralCoreAttentionプロトタイプは、長期シーケンスQLoRAファインチューニングのためにトークンブロックを選択する

ある開発者が、オープンウェイトLLMのファインチューニング向けの実験的なトレーニング時のコンテキスト選択プロトタイプであるSpiralCoreAttentionに関するフィードバックを求めています。このシステムは、すべての順伝播および逆伝播パスで完全な長期シーケンスを処理する代わりに、シーケンスから特定のトークンブロックを選択してトレーニングし、結果として得られたアダプターをホールドアウトされた完全コンテキストのシーケンス上で評価します。

github llama.cpp · 11時間前 · 7 回表示

llama.cpp b10456がSYCLのスレッド数を修正し、Arc 70で7倍のスループット向上を実現

llama.cppプロジェクトはバージョンb10456をリリースしました。このバージョンには、量子化コピーカーネルの実行におけるSYCLバックエンドの重要な修正が含まれています。

media r/LocalLLaMA · 1日前 · 10 回表示

NVIDIAがGB300 NVL72上でQwen 3.8 2.4TをGPUあたり4K tok/sで提供

NVIDIAは、構成可能な推論機能を持つQwen 3.8 2.4Tパラメータモデルを、そのGB300 NVL72ハードウェアプラットフォーム上で提供することをデモンストレーションしました。

github llama.cpp · 2日前 · 14 回表示

llama.cppがMXFP4再パックとチャットテンプレートでKimi-K3モデルサポートを追加

llama.cppプロジェクトは、Kimi-K3テキストモデルのサポートを追加し、そのハイブリッドKDA（線形）+ MLA（完全）注意機構と、古いKimi-Linear-48Bには存在しない5つの特定のアーキテクチャ機能を実装しました。

github llama.cpp · 2日前 · 14 回表示

llama.cpp b10447 が yield_to_queue スレッドモデルを再設計

llama.cpp プロジェクトはビルド b10447 をリリースしました。これには `yield_to_queue` スレッドモデルの再設計が含まれています。この変更では、ワーカーで `common_speculative_process` を実行し、ワーカーからメインスレッドへのデザインを切り替えます。