github llama.cpp · 1日前 · inference

llama.cpp b10868 が MoE の IQ タイプ処理を追加

翻訳元 English → 日本語

llama.cpp プロジェクトはビルド b10868 をリリースし、Mixture of Experts (MoE) モデルの IQ タイプ処理を導入しました。

プルリクエスト #28476 経由で MoE アーキテクチャ内の IQ 量子化タイプをサポートしました。
macOS (Apple Silicon および Intel)、Linux (CPU、Vulkan、ROCm、OpenVINO、SYCL)、Windows (CPU、CUDA 12/13、Vulkan、OpenCL、ROCm、SYCL)、Android、および openEuler のバイナリを提供します。
iOS XCFramework サポートとスタンドアロン UI パッケージを含みます。

このアップデートにより、ユーザーは幅広いハードウェアプラットフォーム上で特定の IQ 量子化タイプを持つ MoE モデルを実行できるようになります。

重要度 1/3 信頼度 1/3 llama.cpp Inference efficiency

原文を読む

media MarkTechPost · たった今ライブ

DeepSeekが1MコンテキストとFP4 KVキャッシュを搭載したDeepSeek-V4.1-Flashをリリース

DeepSeek AIは、100万トークンのコンテキストウィンドウと、グローバルキャッシュのフットプリントをトークンあたり890バイトに削減するFP4 KVキャッシュを備えたマルチモーダルMixture-of-ExpertsモデルであるDeepSeek-V4.1-Flashをリリースしました。このモデルは、因果的なエンコーダ・デコーダアーキテクチャとCompressed Sparse Attention 2 (CSA2) を活用し、パフォーマンスを維持しながらメモリ要件を大幅に削減しています。

github llama.cpp · 1時間前 · 1 回表示ライブ

llama.cpp b10889 リリースはインデクサーの V キャッシュ割り当てを回避

llama.cpp プロジェクトはビルド b10889 をリリースしました。これには、インデクサーで使用されないため V キャッシュの割り当てを回避するメモリ最適化が含まれています。

github llama.cpp · 3時間前 · 1 回表示

llama.cpp b10888 が GPU プロファイラー用の Vulkan コマンドバッファデバッグラベルを追加

llama.cppプロジェクトは、VulkanバックエンドでGPUプロファイラー用のコマンドバッファデバッグラベルを追加する新機能を含むビルドb10888をリリースしました。

github llama.cpp · 4時間前 · 1 回表示

llama.cpp b10886 が s390x 向けに Q1_0 ベクトル組み込みサポートを追加

llama.cpp プロジェクトはビルド b10886 をリリースし、s390x アーキテクチャ向けの Q1_0 ベクトル組み込みサポートを導入しました。このアップデートには `ggml_vec_dot_q1_0_q8_0` の実装が含まれ、新しい機能を反映するためにドキュメントが更新されました。

github llama.cpp · 18時間前 · 1 回表示

llama.cpp b10883 が Vulkan 行列乗算を修正し、Ampere の最適化を復元

llama.cpp プロジェクトはビルド b10883 をリリースしました。これには Vulkan バックエンドの重要な更新が含まれています。主な変更点は、シェーダーのコンパイルとパフォーマンスを向上させるために、行列-行列乗算 A 型演算に仕様定数を使用することです。