media r/LocalLLaMA · 1時間前 · open_models

G9v3-39A5B MoEモデルがartificialanalysisで強力な結果を示す

翻訳元 English → 日本語

G9v3-39A5Bモデルは、artificialanalysisでのパフォーマンスにより注目を集めており、Qwen 3.6 27Bよりも上位にランクされていると報告されています。

これはMixture of Experts (MoE)アーキテクチャです。
G9v3形式をサポートするためのllama.cppの機能ブランチが存在します。
GGUFチェックポイントはHugging Face経由で利用可能です。

重要度 2/3 r/LocalLLaMA Inference efficiency Local inference

media Hugging Face Forums · 1時間前 · 1 回表示ライブ

Celestiumパイプラインにより、適応的FP16とCPUフォールバックで4GB-8GB GPU上でSDXLが実行可能に

Celestiumのハードウェア非依存推論パイプラインを用いた診断により、Stable Diffusion XLは適応的FP16精度と自律的なメモリクリーンアップを活用することで、低VRAM GPU（4GB、6GB、8GB）で安定して実行できることが示された。このアプローチはマルチステージパイプライン中のフラグメンテーションの急増を防ぎ、GPU VRAMが枯渇した際に生成を維持するために緊急CPUモードを利用する。

github llama.cpp · 11時間前 · 1 回表示

llama.cpp b10505 が dedup-cache-models プリセットオプションを追加

llama.cpp プロジェクトはバージョン b10505 をリリースし、サーバーコンポーネント用の新しい `dedup-cache-models` プリセットオプションを導入しました。

media Hugging Face Forums · 2日前 · 3 回表示

フーリエ振幅のKVキャッシュ量子化で同じメモリ量でコンテキスト長を2倍に

ntrillardは、KとVのキャッシュ値のフーリエ振幅スペクトルを4ビットに量子化し、位相をフル精度で保持することで、Gemma-3-1Bにおいてfp16基準に対して96.9%のトークン一致率を実現し、標準的なmin-max量子化と比較して5〜10倍の改善を示したことを実証している。

github llama.cpp · 5日前 · 26 回表示

llama.cppがMXFP4再パックとチャットテンプレートでKimi-K3モデルサポートを追加

llama.cppプロジェクトは、Kimi-K3テキストモデルのサポートを追加し、そのハイブリッドKDA（線形）+ MLA（完全）注意機構と、古いKimi-Linear-48Bには存在しない5つの特定のアーキテクチャ機能を実装しました。

github llama.cpp · 5日前 · 21 回表示

llama.cpp b10447 が yield_to_queue スレッドモデルを再設計

llama.cpp プロジェクトはビルド b10447 をリリースしました。これには `yield_to_queue` スレッドモデルの再設計が含まれています。この変更では、ワーカーで `common_speculative_process` を実行し、ワーカーからメインスレッドへのデザインを切り替えます。