github llama.cpp · 13時間前 · inference

llama.cpp b10754 が Adreno イメージカーネルの OpenCL 境界外読み取りを修正

翻訳元 English → 日本語

llama.cpp プロジェクトはビルド b10754 をリリースしました。これには、イメージ処理カーネルでの境界外メモリ読み取りを防ぐための Adreno GPU 上の OpenCL の重要な修正が含まれています。

q4_K デコード GEMV の行フェッチは、パディングされた x グリッドでクリンプされました。
イメージ KQ/KQV GEMM のタイリング契約が厳密に適用されました。
イメージ KQ/KQV の分割ロジックは、ストライドに依存するのではなく、ディスパッチ時に決定されます。

このアップデートにより、Adreno ハードウェアで OpenCL アクセラレーションを使用して llama.cpp を実行するユーザーの安定性と正しさが保証されます。

重要度 1/3 信頼度 1/3 llama.cpp Inference efficiency

原文を読む

github llama.cpp · たった今ライブ

llama.cpp b10766 が DeepSeek 4 のビジョンサポートを追加

llama.cpp プロジェクトはビルド b10766 をリリースしました。これには、DeepSeek 4 モデルの入力ビジョンを正しくサポートするための修正が含まれています。

github llama.cpp · 1時間前 · 1 回表示ライブ

llama.cpp b10762 が DeepSeek-V4-Flash-Vision-Exp のサポートを追加

llama.cpp プロジェクトはビルド b10762 をリリースし、DeepSeek-V4-Flash-Vision-Exp モデルのサポートを導入しました。このアップデートには、コマンドラインインターフェースからの最小および最大トークン数の処理も含まれています。

github llama.cpp · 1時間前 · 1 回表示ライブ

llama.cpp b10763 で preserve_reasoning がデフォルトで有効に

llama.cpp プロジェクトはビルド b10763 をリリースし、`preserve_reasoning` チャットテンプレートキーワード引数のデフォルト動作を変更しました。サーバーはこの kwarg の有効な状態をログに記録し、サポートされているテンプレートでデフォルトで有効になっている場合に警告を発します。

github llama.cpp · 8時間前 · 1 回表示

llama.cpp b10760 が Qwen3-tts-0.6b の推論安定性を修正

llama.cpp プロジェクトはビルド b10760 をリリースし、Qwen3-tts-0.6B モデルの数値不安定性を防ぐための特定の修正が含まれています。

github llama.cpp · 9時間前 · 1 回表示

llama.cpp b10758 が Hexagon 向けに MUL_MAT および MUL_MAT_ID の融合を追加

llama.cpp プロジェクトはビルド b10758 をリリースし、Hexagon DSP 向けの MUL_MAT および MUL_MAT_ID 融合機能を導入しました。このアップデートには、Qualcomm ハードウェア上の安定性とパフォーマンスを向上させるためのいくつかの修正も含まれています。