github llama.cpp · 1時間前 · inference

llama.cpp b10203 が q2_0 行列乗算の SYCL サポートを追加

翻訳元 English → 日本語

llama.cpp プロジェクトはバージョン b10203 をリリースし、SYCL ベースの行列乗算操作で q2_0 量子化フォーマットのサポートを導入しました。このアップデートは、特定のハードウェア加速シナリオにおけるライブラリの互換性を拡大します。

PR #26231 により mul_mat で q2_0 のサポートを追加。
SYCL バックエンド内の追加の q2_0 ケースへの対応範囲を拡張。
macOS (Apple Silicon および Intel)、iOS、Linux (CPU、Vulkan、ROCm 7.2、OpenVINO、SYCL FP32/FP16)、Android、Windows (CPU、OpenCL、CUDA 12/13、Vulkan、OpenVINO、SYCL、HIP)、openEuler 用のバイナリを提供。

このリリースにより、ユーザーは SYCL 互換デバイスで q2_0 量子化を利用できるようになり、効率的なモデル推論のためのサポート対象ハードウェア構成の範囲が広がります。

重要度 1/3 信頼度 1/3 llama.cpp Inference efficiency

原文を読む

github llama.cpp · たった今ライブ

llama.cpp b10206 が DeepSeek V4 および MLA モデルに対して同じ K と V キャッシュ型を強制

llama.cpp プロジェクトはバージョン b10206 をリリースし、注意機構におけるキーバリューキャッシュの処理方法に特定の変更を導入しました。この更新により、DeepSeek V4 モデルの K および V キャッシュ型が整合性を持つことが保証されます。

github llama.cpp · 2時間前

SYCL RMS_NORM フュージョンを備えた llama.cpp b10202 リリース

llama.cpp プロジェクトはバージョン b10202 をリリースし、RMS_NORM と MUL 演算を融合する SYCL 最適化を導入しました。

github llama.cpp · 4時間前 · 1 回表示

llama.cpp b10201 が長文脈における量子化KVのflash attentionを改善

llama.cppプロジェクトはバージョンb10201をリリースしました。これにはggml-webgpuバックエンドへの重要な改善が含まれています。このアップデートは、長文脈生成中に量子化されたキーバリューキャッシュを処理する際のflash attentionのパフォーマンスを向上させます。

media Latent Space · 7時間前

OpenAI、自己最適化によりGPT-5.6の価格を最大80%引き下げ

OpenAIは、システム的な効率改善と再帰的自己最適化技術により、GPT-5.6モデルの大幅な価格引き下げを発表した。同社は、GPT-5.4レベルのインテリジェンスのコストが4ヶ月で約13倍低下し、GPT-5.6 Lunaの価格は80%、Terraは20%削減されたと報告している。

blog Simon Willison · 14時間前 · 2 回表示

OpenAI、GPT-5.6 Lunaの価格を80%引き下げ、Solを活用して推論を最適化

OpenAIは、そのGPT-5.6モデルファミリーの価格を大幅に引き下げ、GPT-5.6 Lunaに対して80%という大きな価格下落と、GPT-5.6 Terraに対して20%の削減を導入した。これらの変更は、モデルの順伝播と生産用カーネルを最適化して効率を向上させるGPT-5.6 Solによって可能となった。